- 博客(156)
- 收藏
- 关注
RSS订阅原创 Postgresql压测前插件安装
任何数据库上线前，都需要有相关的基准压测，伴随着业务的选型，也是一个很好的参考。那么在压测过程中，需要监控数据库的性能。那么PG是支持很多插件的数据库，我们今天简单的讲几个插件的安装。第一：pg_stat_monitor登录后复制 unzip pg_stat_monitor-main.zipmv pg_stat_mon...
2024-03-27 14:25:23
950
原创 Oceanbase为啥新入数据select慢
大家好，作为一个数据库管理员，在纷繁的数据库产品中想占有一席之地，那么必须是剑在手跟我走，除了有一个看家的产品精通或者熟悉之外，还需要多学其他数据库产品，那么本人作为OB新人，以此开篇进行记录，如博客中有什么不对的地方，还请大家留言更正。让我们一起为数据库领域搬砖添瓦！ 大致情况就是，我们新上了一套V4.2.1社区版...
2023-12-30 17:43:59
526
原创 诡异事件之统计信息JOB啥时候执行的？
统计信息的执行关乎着我们系统的稳定，优化器的选择。我们大部分的核心库还都是Oracle数据库，统计信息是把双刃剑，在业务敏感度较高的交易系统中，尤其重要。此前我们因为“统计信息”出现的业务感知的问题，挺多。后来也在生产环境不断打磨，形成了我们特有的统计信息壁垒手段。1，库级基本的统计信息JOB不做调整。2，定期与开发交流...
2023-08-14 16:03:01
143
原创 单日亿级大表高并发账务系统实战优化
背景：各个企业的记账系统，都超级复杂，超级重要，每一笔帐，对应的就是钱。而账务系统区别与前端在线业务系统，又有其处理记账过程中锁的问题，事务量较大等问题。考验开发水平的同时，也考验着后端的基础架构部门，运维部门。以下有脱敏部分，但实际经验都是来源于我们的生产系统。目前我们的账务系统，在面对高并发提交下的log file s...
2023-03-09 15:46:33
253
原创 Oracle使用fy_recover_data恢复truncate删除的数据
TRUNCATE不会逐个清除用户数据块上的数据，而仅仅重置数据字典和元数据块上的元数据(如存储段头和扩展段图)。也就是说，此时，其基本数据并未被破坏，而是被系统回收、等待被重新分配。如果我们已经有一套元数据及数据块，然后将被TRUNCATE的用户数据块的内容取代其用户数据块的内容，是否可以“骗”过Oracle，让它读出这些...
2022-07-19 21:06:15
170
原创 Polardb训练营-Polardb-X集群做动态扩缩容
本文将主要介绍如何在 Kubernetes 上，通过 PolarDB-X Operator 实现 PolarDB-X 数据库集群的弹性扩缩容。关于如何用 Kubernetes安装PolarDB-X，请您移步上一篇博客中获取：https://blog.51cto.com/yangjunfeng/5383036我们这...
2022-06-17 18:21:51
495
原创 Polardb训练营-本地部署 PolarDB-X
PolarDB-X是阿里巴巴自主设计研发的高性能云原生分布式数据库产品，为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。云原生+MySQL生态PolarDB-X已作为标准云产品在世界范围内的13个地区提供服务。依托云资源和容器化部署能力，PolarDB-X可以在数分钟内完成集群创建和变配，整个过程中用...
2022-06-14 22:31:52
1693
1
原创 add trandata带来的library cache lock
开完早会，来自于开发的一个反馈，说某个时间点业务库有感知异常根据dba_hist_active_sess_history视图查看当时有严重的library cache lock在当时时间段，排除了其他业务sql带来的影响，有一个alter table的操作是ogg为source由于无法使用10046进行追踪，但是我们知道a...
2022-02-28 11:33:19
166
原创 数据库日志级别对REDO产生的影响
市面上的同步软件，基本上都是基于数据库的日志去解析，应用的。前有DCC仿照DSG占用大批券商，银行市场，后来DSG告其仿照人家技术，其实万变不离其宗，你家，我家，都是按这个解析日志的套路去做的。最近一直被log file sync所困扰。如下是我们的生产系统截图，敏感信息已经脱敏~仅作为技术讨论日志每秒产生约14M,逻辑读...
2021-12-14 18:36:48
786
原创 心跳丢失造成RAC节点驱逐
赶上了迁库风，我们的一套再建生产业务库发生了主机重启，什么原因呢[root@nqzeyddb2 ~]# uptime 15:42:46 up 5 days, 22:29, 4 users, load average: 0.08, 0.09, 0.10alert日志里面没有明显告警，crs里面是有明显的超时告警的，怀...
2021-10-11 15:48:04
277
原创 监控告警带来的一系列排查
公司是做交易支付的，为了交易稳定性，上了各种各样的监控。有连接数告警，有交易失败承兑率的告警等，就昨天的一个告警，我们展开了追踪，我们有自建的awr收集平台，通过半小时打点进行展示；数据库不忙，当时的系统IDLE,MEM,IO都不忙，尤其是大佬们怀疑的IO。我们继续去排查存储，看看是否有压力存储用的Dell Unity 6...
2021-09-27 15:03:24
144
原创 tabix内嵌式clickhouse使用
tabix支持通过浏览器直接连接 ClickHouse，不需要安装其他软件，就可以访问ClickHouse，具有以下特点：⾼亮语法的编辑器。 ⾃动命令补全。 查询命令执⾏的图形分析⼯具。 配⾊⽅案选项。除此之外，还可以使用DBeaver连接ClickHouse，本文主要介绍CK自己的配置文件的方法去做；详见官网文档：https://tabix.io/doc/Install/#variant-5-from-dockerEmbedded这种方式使用的clickhouse内置的服务，直接打开ck
2021-05-08 15:03:46
1347
1
原创 Zookeeper集群安装
在测试Clickhouse集群的时候，需要构建ZK集群。ZK集群比较简单。下面写个流水账。供以后学习翻阅使用；本ZK集群教程使用Oracle Linux 7系统本人安装的三台机器ip地址为172.16.160.31-331、三台虚拟机均使用root用户操作su root2、下载zk包wget http://archive.apache.org/dist/zookeeper/zooke...
2020-10-16 15:39:32
59
原创 Oracle 19C新特性之-Automatic indexing 自动化索引
自从我们公司使用了12C列式数据库以后，在一些特定场景下得到了一些特殊的应用。如它的IN-MEM特性。确实是在项目初期给我们生产性能带来了质的飞跃，同时也肩负着吃螃蟹的风险，遇到了几个12C的Bug，19C上市至今我们的生产环境没有真正的去做迁移部署。最近有时间，测试了一下19C的Automatic indexing特性。人狠话不多开整！Automatic indexing是Oracle Dat...
2020-01-07 17:34:17
1100
原创 12C 数据库之坑爹又坑队友的无故链接不上问题处理
公司两年前上的系统，当时要用12c的新特性，就上线投产了。初始oracle版本为12.1，该版本在实际使用中bug不断，简直头疼。近日开发投产一些新的应用服务器大概20多台，在投产至10台的时候，数据库内部链接在910的时候，就会报错，但是我们的session数很大，远远没有到达临界值，报错如下所示；TNS-12518: TNS:listener could not hand off clien...
2019-09-18 11:36:20
180
原创 12C ogg之坑爹又坑队友报错OGG-00868 ORA-01291: missing logf
同事正常操作，并停止一个ogg进程，数据库是12c的。ogg当然也是12c的版本。一切都是一个正常的操作，但是出了坑爹的效应，差不多四个人，搞了近3个小时吧。下面我们看看详细的报错；GGSCI (dwdb1) 1> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER R...
2019-08-13 23:41:29
668
原创 ORA-00603\ORA-27504\ORA-27300\ORA-27301:No buffer
Sat Jul 27 02:06:59 2019skgxpvfynet: mtype: 61 process 155678 failed because of a resource problem in the OS. The OS has most likely run out of buffers (rval: 4)Errors in file /u01/app/oracle/diag/rdb...
2019-07-27 08:15:10
275
原创 Redis之-哨兵模式原理
master服务器异常down机后，两个原有的slave1，slave2服务器接管服务，如slave1变成新的master服务器，slave2变成slave1的从库。配置文件主要参数讲解：sentinel monitor mymaster 127.0.0.1 6379 1 几个哨兵发现down才认为真正的downsentinel down-after-milliseconds mymaste...
2019-06-28 17:34:41
59
原创 Redis之-aof恢复
aof恢复简讲过程：[root@ZFRC-YW-YJF-TEST-370123 redis]# pkill -9 redis[root@ZFRC-YW-YJF-TEST-370123 ~]# cd /var/dir[root@ZFRC-YW-YJF-TEST-370123 ~]# rm -rf *清除掉现有环境备份文件；然后启动服务器进程，添加新数据[root@ZFRC-YW-YJF-TEST...
2019-06-27 15:23:50
50
原创 Redis之-常用命令
格式比较乱，主要是为了记录平时的一些操作，学习过程；1，查看数量127.0.0.1:6379> dbsize(integer) 62，手动重写aof文件127.0.0.1:6379> bgrewriteaofBackground append only file rewriting started3，保存aof日志，这个命令会阻塞其他操作，建议使用bgsave127.0.0.1:637...
2019-06-25 14:09:01
37
原创 Redis之-主从配置
集群的作用：1，主从备份 防止主库down机2，读写分离，分担master压力3，任务分离，如从服务器分担备份的工作大概同步原理：1，slave启动发现需要连接master，那么sync自动同步一下2，master dump出一份rdb文件给slave3，master新产生的数据，通过缓冲aof文件4，然后通过replicationfeedsalves进程保持联系；master配置：1，关闭r...
2019-06-21 18:04:51
34
原创 NFS未解之谜之IO持续占用问题
某核心交易库，报警IOwait超过30%，看似很普通的一条告警，实则暗藏玄机；登陆主机查看到有很多RMAN备份脚本在跑；平时不到一小时的任务，跑了6个多小时了。该备份任务通过nfs挂载的方式，怀疑是nfs有问题，果然，进入到mount目录，ll都无法正常显示结果，卡住不动，随即到备份服务器上面，也就是nfs server查看有没有异常，发现之前部署的一个监控脚本，在平时load和io都很低。与...
2019-06-21 10:39:16
216
原创 Redis之-AOF
AOF是基于日志的，类似于Oracle的redo，Mysql的binlog日志。Aof 的配置appendonly no # 是否打开 aof日志功能appendfsync always # 每1个命令,都立即同步到aof. 安全,速度慢appendfsync everysec # 折衷方案,每秒写1次appendfsync no # 写入工作交给操作系统,由操作系统判断缓冲区大...
2019-06-18 16:24:56
70
原创 Redis之--rdb持久化
持久化：通俗讲，下次开机还有数据，断电后不会丢失数据，存放于磁盘。Redis：rdb快照持久化每隔N分钟或N次写操作后，从内存dump数据形成RDB文件。压缩，放在备份目录。参数详解：从下往上看save 900 1 #900秒内有1个key的变化，save 300 10 #300秒内有10个key的变化，save 60 10000 #60秒内有...
2019-06-17 20:55:22
48
原创 Redis之-事物
1，Redis如果执行了multi后，会放在一个队列中。注：在multi后面的语句中，语句出错后会有这样的情况a，语法问题在收到exec时候，报错，语句不予执行。b，语法本来没错，但是适用对象有问题exec后，会执行正确的语句，跳过错误的。127.0.0.1:6379> flushdbOK127.0.0.1:6379> set yang 200OK127.0.0.1:6379>...
2019-05-17 15:23:00
37
原创 Redis之-hash类型
hash数据类型的相关命令1，hset命令127.0.0.1:6379> hset user name yuhao(integer) 1127.0.0.1:6379> hset user age 19(integer) 1127.0.0.1:6379> hset user from qinghai(integer) 1127.0.0.1:6379> hgetall user...
2019-05-16 17:40:47
43
原创 Redis之-字符串类型
1，set key value ex秒数/px 毫秒 nx/xx127.0.0.1:6379> set name z2 px 1000OK127.0.0.1:6379> ttl name(integer) -2nx:表示key不存在时执行操作xx：表示key存在时操作如：127.0.0.1:6379> flushdbOK127.0.0.1:6379> set jiaxia...
2019-05-14 11:41:11
34
原创 Redis之-键值操作
接下来有redis一些常用命令的学习，但是有部分是我们生产环境禁用的，会影响性能，不符合redis开发规范，大家可以自行搜索阿里redis开发规范进行借鉴与学习1，keys pattern通用键查询在redis里,允许模糊查询key有3个通配符 , ? ,[]: 通配任意多个字符?: 通配单个字符[]: 通配括号内的某1个字符127.0.0.1:6379> keys 1) "What"1...
2019-05-10 01:04:30
68
原创 Redis之-初识安装
redis是开源,BSD许可,高级的key-value存储系统.可以用来存储字符串,哈希结构,链表,集合常用来提供数据结构服务.redis和memcached相比,的独特之处:1: redis可以用来做存储, 而memccached是用来做缓存，这个特点主要因为其有”持久化”的功能.2: 存储的数据有”结构”,对于memcached来说,存储的数据,只有1种类型字符串而redis则可以存储字符串...
2019-05-09 21:22:19
50
原创 OGG-01163 Bad column表结构一致、trail文件meta不一致处理
变更源端表结构后，目标端ogg告警。2019-04-15 12:48:47 ERROR OGG-01163 Bad column length (21) specified for column CHANNEL_CODE in table MCS.T_MCS_REPAY_ORD_INF, maximum allowable length is 15.将复制进程中参数注掉后：--ASSUM...
2019-04-15 13:44:16
198
原创 ORA-01940: cannot drop a user that is currently
Oracle删除某个用户，报错：12:17:05 SYS@RCBD1(BAPRCDB)> drop user GSDPAY cascade;drop user GSDPAY cascade*ERROR at line 1:ORA-01940: cannot drop a user that is currently connected使用删除当前用户会话后，链接一直在变，一直在涨。12:...
2019-02-21 12:42:27
142
原创 ORA-600 kdsgrp1错误解决案例
当日早上某数据库发现ORA-600错误Thu Feb 14 09:00:32 2019Errors in file /u01/app/oracle/diag/rdbms/xxxxdb/xxxxdb/trace/xxxxdb_ora_90063.trc (incident=880729):ORA-00600: internal error code, arguments: [kdsgrp1], [...
2019-02-14 10:31:21
195
原创 RHEL7.2做NFS服务器之-BUG
RHEL7.2 Server做NFS服务，1，yum -y install nfs-utils rpcbind2，mkdir -p /u01/dbbackupset/10.2.21.337_tradb3，cat /etc/exports/u01/dbbackupset/10.1.21.437_tradb 10.1.21.437(rw,sync,no_root_squash)参数值 内容说明...
2018-12-27 14:26:32
106
原创 ADG terminated by LGWR, terminating the instance
11.2.0.4 RAC TO RAC FOR ADG环境。由于历史原因，备库节点二一直没有启动，一直是启动节点一对外提供服务。节点一alert报错，lgwr进行kill实例操作并自行重启。Mon Dec 24 16:11:24 2018Archived Log entry 262740 added for thread 2 sequence 185858 ID 0x92570693 dest 1...
2018-12-25 17:34:26
151
原创 12C环境下分库分表改造查询优化
某交易查询库主要使用Oracle 12.1.0.2.0的In Memory特性缓存三张按月分区的大表，In Memory组件主要是针对OLAP应用的，而这种应用绝大部分的操作都是查询，而且很多时候只关心表中特定的一个或多个列，所以in memory特性还可以指定只把表中的特定的一个或多个列加载到in memory area当中。开始的情况由于并发等多种因素，跑的还是很快的。随着时间的推移，三个表的...
2018-12-25 16:20:00
49
原创 impdp导出报错ORA-39126、ORA-31604
Import: Release 11.2.0.4.0 - Production on Wed Dec 19 16:22:35 2018Copyright (c) 1982, 2011, Oracle and/or its affiliates. All rights reserved.Connected to: Oracle Database 11g Enterprise Edition R...
2018-12-19 17:01:11
383
原创 Linux7硬件时间偶遇扯淡Powerpath启动报错
新环境，RHEL 7.2 安装EMPPP多路径软件但是启动后报错Nov 14 10:44:46 localhost PowerPathPost: ERROR: Cannot open PowerPath. Initialization errorNov 14 10:44:46 localhost PowerPathPost: ERROR: Cannot open PowerPath. Initi...
2018-11-14 15:51:28
138
原创 11g RAC 节点二MMON进程异常
一早发现核心系统的DBtime监控阈值一直在某一个点平移，感觉有点不对劲。因为我们的脚本依托dba_hist_snapshot试图的SNIP来做的。遂进行AWR报告的生成查看其SNAP_ID是否有异常；21220 19 Sep 2018 09:00 1 21221 19 Sep 2018 10:00 1 ...
2018-09-20 14:24:38
73
原创 MongoDB基于时间戳的导数操作
上班有个需求，协助提取某数据系统中cashloanDb涉及MongoDB集合： cardBill(时间段 6.1-8.28) ， cardReport (时间段 2.1-8.28)如果不支持根据时间提取，可提取全量数据。使用mongo客户端命令进入数据库：jsfkrs0:PRIMARY> show dbs;2018-09-04T17:35:57.692+0800 E QUERY [t...
2018-09-05 09:30:15
122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人