- 博客(35)
- 收藏
- 关注
RSS订阅转载 graphite在centos7上的部署搭建
Graphite安装笔记实验环境： CentOS7.5 x64部署python的程序推荐使用virtualenv这列的虚拟环境来进行，防止污染系统自带的python包。安装一些必要的rpm包yum install cairo -- 另外的2个包 cairo-devel pycairo 可以不用安装安装virtualenvyum install python-pippip ...
2019-09-14 20:31:23
722
转载 使用Prometheus监控DBLE
DBLE是一款基于MyCAT改进的MySQL分库分表中间件，但是并没有一个配套的监控软件。这里我分享下我们生产/测试环境在使用的监控方法需要用到的软件：Prometheus、 pushgateway、grafana、【alertmanager可选】 （应该很多公司已经在用这套组件）下面是我采集dble数据的脚本，主要是通过9066管理端口去抓取数据，然后打点到pushgat...
2019-09-14 12:23:23
541
转载 使用go-mysql-postgresql实现 MySQL实时同步数据到PG
MySQL to PG 的数据同步，可以通过canal 或者bireme 来做，但是操作起来步骤都比较费事。之前公司的同事，在go-mysql-elasticsearch的基础上，改了一下，将target从es改为了pg，工具名称叫做go-mysql-postgresql 。这个工具最大的好处就是一键部署使用，不依赖其它组件。项目地址：https://github.com/...
2019-09-06 23:01:46
3245
转载 MySQL数据全量导入PG的方法
下面会用到一个perl脚本来做数据格式的转换： https://github.com/ahammond/mysql2pgsql1 导出mysql的数据#导出结构mysqldumpbx_cmdb_37--master-data=2--skip-opt--default-character-set=utf8--no-data--compact--skip-du...
2019-09-06 22:58:09
1103
转载 redis 清理某个key前缀的key
redis清理某个前缀的key例如，某次研发上线代码，造成了某种前缀的key出现了脏数据(例如key前缀名称为 key_ )， 我们需要快速的清理掉这些问题key。常用的方法有2种：1、dump出一个全量数据，然后找出符合条件的key，进行删除操作【推荐】2、使用scan扫描redis，将全部key捞出来，然后再删除符合条件的key我们这里使用第一种方法，具体如下操作：1、...
2019-09-03 23:05:17
5163
转载 PG的Prometheus监控
到github上，下载已编译好的exporter文件地址：https://github.com/wrouesnel/postgres_exporter/releasestar xf postgres_exporter_v0.4.1_linux-amd64.tar.gz -C /opt/cd /opt/postgres_exporter_v0.4.1_linux-amd64v...
2019-09-02 12:56:13
1752
转载 PG创建or修改索引
pgsql中的索引不能重名，重名的创建失败。创建二级索引的命令：create index CONCURRENTLY idx_abc on tb1(a,b);注意：reindex 重建索引的过程是阻塞的，一般大表不建议使用这个命令，可以重建一个索引，然后删除老的索引。下面看一个《PostgreSQL实战》书上page202的例子：由于PG的MVCC机制，当运行大量的更新操...
2019-09-01 17:26:34
4095
转载 DBLE分库分表实战
环境： DBLE 2.19.03.0OS版本： CentOS Linux release 7.6.1810 (Core)IP： 192.168.20.10/24MySQL版本： MySQL-社区版-5.7.26添加2个账号授权：create user 'rw'@'%' identified by 'rw123456';create user 'rd'@'%' identi...
2019-09-01 13:17:55
1649
转载 【案例】redis-server 大量key过期不释放空间的
环境： 某个redis集群（redis4.0.11的主从环境）背景：这个redis集群开发有大量的key的写入和过期，导致内存急剧上涨。使用 rdb工具 （git地址：https://github.com/sripathikrishnan/redis-rdb-tools）分析下rdb文件后，发现内存中有很多的key，过期时间早到了，但是实际上还存在。原因： 因为redis的...
2019-08-30 22:12:53
977
转载 通过tcpdump采集主机间的流量情况
由于公司计划要从idc迁移上云，前期准备工作之一就是要先梳理清楚当前主机间的调用关系链。关于这块，ODF大会上，古雷大师已经给我们指明了道路（感兴趣的可以找下 it大咖说的视频：运维数据可视化探索） ， 他的比较精美但是也更复杂些。作为一个苦逼dba，不会那些高大上的招式，怎么办？？当然不能放弃，借鉴了下他的思路，我整出了个比较lowbi的方法。我的思路：1、在每台机器上...
2019-08-29 23:04:47
698
转载 prometheus 采集 snmp 数据
因为工作需要，需要采集下交换机的网络流量情况。 查了下google，发现几个好文章。1、snmp_exporter的部署https://blog.csdn.net/YUKEKECHEN/article/details/859602482、 告警表达式：https://owelinux.github.io/2018/07/25/article8-linux-p...
2019-08-28 15:24:28
4439
转载 PG中只读账号的授权操作
日常工作中，我们通常开给研发2个账号（一个只读账号，读写账号）读写账号自不必说， ，每次用这个账号建表后，自然就用了CRUD的权限。但是，只读账号稍微费事点，如果我们处理不好的话，每次新加表都要再执行一次对只读账号的重新授权操作。好在PG为我们考虑好了这个场景，也是有方法解决的。看下面例子：使用postgres超级账号登录PG，创建2个业务账号create user rw ...
2019-08-25 23:06:59
1663
转载 使用pg_repack 回收表体积
对于某些常进行archiver或者 purge操作的表而言，如果我们不定期回收表空间，则表体积会越涨越大。但是pg自带的 vacuum full 在回收的过程中会阻塞读写操作，不能在生产环境直接运行。因此，在生产环境 我们常用的表空间收缩工具是pg_squeeze 和 pg_repack。这里先贴 pg_repack 的用法：项目地址: https://github.com...
2019-08-24 20:09:42
576
转载 k8s 如何进行pod级的抓包
因为某些关系原因，有时候需要排查pod和外部服务之间是否有网络异常情况，我们需要进行tcpdump抓包操作。下面，是抓包的具体步骤：1 列出待抓包的pod 及分布在哪些节点上kubectl get pods -n ns1 -o wide | egrep myapp2 找到对应的containerIDkubectl get pod -n ns1 myapp-xxxxxx-xxx...
2019-08-24 12:36:52
3338
转载 postgres中mysql_fdw 扩展的使用
mysql_fdw 的作用： 用来在PG中快速访问MySQL中的数据。参考连接：https://www.percona.com/blog/2018/08/24/postgresql-accessing-mysql-as-a-data-source-using-mysql_fdw/实验版本：CentOS 7.5Postgrsql 11.5 编译安装版SQL 5.7 rpm版演...
2019-08-23 18:18:20
683
转载 PG Logical Replication 逻辑复制
PG10 到 PG11 的逻辑复制我下面演示的PG环境是单机多实例的方式部署在同一台物理机上的。部署方式可以参考 上一篇博客。1、当前老的PG10主库(需要先设置wal_level = logical）：su-postgrescd/usr/local/pgsql-10.10/./bin/psql--port5433postgres=#createda...
2019-08-20 21:36:14
1272
转载 pgsql 单机多版本的实验环境的搭建
实验的时候，我们通常需要运行多个版本的pg实例。最近试用了下pgenv 发现这个虚拟环境并不是很好用，pg自身的多实例更好用，具体方法如下：这里以我们编译安装好的pgsql11.5为例（其它rpm安装的pg也可以的）。我的pgsql原始安装路径在/usr/local/pgsql/ 目录下切换到postgres账户下su - postgres创建相关目录cd/usr/loca...
2019-08-20 00:05:07
294
转载 windows上安装 MySQL-python包的方法
安装过程中，遇到很多问题，终于解决了，贴下我的解决步骤。也为了其它小伙伴们少采坑。1、先安装 python2.7 x64版本【官网去下载64位的python安装包】2、安装 vc++ 依赖包 (下载地址https://www.microsoft.com/en-us/download/confirmation.aspx?id=44266)3、安装 MySQL-python x...
2019-08-15 16:27:15
253
转载 MySQL表自增id溢出的故障复盘
问题：MySQL某个表自增id溢出导致某业务block背景：tokudb引擎的一个大表tb1，存放业务上的机审日志，每天有大量的写入， 并且由于历史原因，这张表是int signed 类型的，最大只能存2147483647行记录 。处理过程：增加DBLE中间件代理，然后做range分区，将新数据写到新加的的一个分片上。 同时业务上修改连接将这个表tb1的连接...
2019-08-09 23:26:30
394
转载 prometheus 统计MySQL 自增主键的剩余可用百分比
最近生产环境一套数据库因为疯狂写日志数据，造成主键值溢出的情况出现，因此有必要将这个指标监控起来。mysqld_exporter自带的这个功能，下面是我使用的启动参数：nohup ./mysqld_exporter --config.my-cnf="./my.cnf" --web.listen-address=":9104" --collect.heartbeat --col...
2019-08-08 23:50:18
396
转载 kafka运维之broker缩容
接上一篇https://blog.51cto.com/lee90/2423980 继续， 我们做完交换机的维护后，因为资源紧缺，还需要把原先的的2个broker节点加回到集群，将临时的node4 node5 摘出集群。node1 192.168.2.187node2 192.168.2.188node3 192.168.2.189node4 192.168.2.1...
2019-07-26 20:51:43
1209
转载 kafka运维之broker扩容
背景： 最近公司的3节点kafka集群，发现有2个节点所在的刀箱交换机有故障风险，会随机性的出现端口up/down的情况。 因此需要临时将这2个broker迁移出来，等交换机修复后再迁移回去。下面是实验模拟的整个过程（扩容+缩容）原先的3节点的kafka假设为node1、node2、node3准备2台空闲点的服务器（这里假设为node4和node5）系统版本：CentO...
2019-07-26 20:40:04
1890
转载 ycsb / go-ycsb压测工具的简单试用
ycsb是yahoo开源的一个多功能压测软件，支持mysql mongodb redis hbase等多种软件。官方地址：https://github.com/brianfrankcooper/YCSB本次这里我们以ycsb压测redis为例。tar xfycsb-0.15.0.tar.gz -C /usr/local/cd /usr/local/ycsb-0.15.0其中...
2019-07-26 18:24:24
625
转载 MySQL 8.0.17 clone插件的使用
mysql8.0.17里 引入了一个clone插件, 可以方便我们快速克隆出一个从库或者MGR的节点：8.0.17 releasenote地址：https://dev.mysql.com/doc/relnotes/mysql/8.0/en/news-8-0-17.htmlMySQL现在提供了一个克隆插件，允许在本地克隆InnoDB数据(不常用)或从远程MySQL服务器实例克隆...
2019-07-24 22:29:52
637
转载 mongodb-consistent-backup 一致性备份工具的使用
官方地址：https://github.com/Percona-Lab/mongodb_consistent_backupwgethttps://github.com/Percona-Lab/mongodb_consistent_backup/releases/download/1.4.1/mongodb_consistent_backup-1.4.1-1.el7.x86...
2019-07-22 19:01:36
524
转载 Prometheus监控：rate与irate的区别
对官网文档的解读irate和rate都会用于计算某个指标在一定时间间隔内的变化速率。但是它们的计算方法有所不同：irate取的是在指定时间范围内的最近两个数据点来算速率，而rate会取指定时间范围内所有数据点，算出一组速率，然后取平均值作为结果。所以官网文档说：irate适合快速变化的计数器（counter），而rate适合缓慢变化的计数器（counter）。根据以上算法我们...
2019-07-22 13:47:52
5217
转载 kafka-manager 2.0.0.2 编译版本
kafka-manager 2.0.0.2 编译版本：链接：https://pan.baidu.com/s/1fRKSpCwyaWaQ8cA7OaLt_w 提取码：ajo1编译方法：curlhttps://bintray.com/sbt/rpm/rpm>bintray-sbt-rpm.repomvbintray-sbt-rpm.repo/etc/...
2019-07-20 20:49:58
1507
转载 rabbitmq-server的 prometheus监控
rabbitmq-server的安装这里就略过了。我们这里演示就用单机版的rabbitmq-server下载rabbitmq_exporter-0.29.0.linux-amd64.tar.gz 这个包， 下载地址：https://github.com/kbudde/rabbitmq_exporter/releasestar xfrabbitmq_exporter-0....
2019-07-11 21:25:51
701
转载 Prometheus pushgateway的部署使用
pushgateway 的部署：tar xfpushgateway-0.8.0.linux-amd64.tar.gz -C /usr/local/cd /usr/local/pushgateway-0.8.0.linux-amd64./pushgateway --web.listen-address=":9091" --web.telemetry-path="/metric...
2019-07-09 14:25:01
5462
转载 通过Prometheus 函数 offset 计算同比环比数据
Prometheus自带了很多很强大的计算函数。offset算是一个用得比较多的，下面是一个很实用的例子。（用在监控业务指标上很合适，比单纯的阈值监控好用，因为某些指标可能在周末或者凌晨是低峰期，单纯阈值告警可能有遗漏情况发生）表达式写法:下图， 是计算当前时间和上一周这个时刻的数据波动情况（表达式里面我加了abs用于计算绝对值） ...
2019-07-09 10:19:10
6856
转载 MongoDB中删除document的方法
删除表里面的行记录> db.users.remove({z:'abc'}) 删除记录 delete from users where z="abc"默认remove没有带选项true/false的话，是删除匹配到的全部行记录.如果要只删除一条匹配到的记录可以使用：db.users.remove({z:'abc'},true)> db.t1.deleteOne({...
2019-07-03 14:50:32
666
转载 kubectl 命令自动补全
原文地址:https://blog.csdn.net/wenwenxiong/article/details/53105287我下面测试用的 k8s版本： 1.9.3在linux上#yuminstall-ybash-completion#locatebash_completion/usr/share/bash-completion/bash_completi...
2019-07-02 16:04:30
2600
转载 一种基于proxysql的数据脱敏思路
背景：我们这边给研发查数据的是通过phpmyadmin进行的，通常情况下研发人员查数据写法是 select * from db1.tb1 where id=xxxx 。脱敏的思路：通过proxysql对 关于testdb.t_user 表的查询做改写。实验环境：数据库主机： 192.168.20.10:3306 mysql账号：dba 密码： dbaproxysql版...
2019-06-22 20:36:12
477
转载 MyCAT plus之DBLE 进阶视频
MyCAT目前看基本上处于不活跃状态了，市面上爱可生公司在MyCAT1.6的基础上，修改衍生出了DBLE 这款中间件。用下来还不错，文档之类的也比较完善。前段时间他们还出了个DBLE的相关视频，对DBLE的运维做了很深入的介绍，值得一看。优酷视频地址：https://h.planet.youku.com/ykzpd.html?uid=UNDcxNjkxNjE2NA==&...
2019-06-22 17:15:34
190
转载 单机mongodb转为复制集的操作步骤
由于历史原因，生产环境的几台mongodb都是单机在运行，考虑到宕机等不确定的风险，需要给他们做一下高可用。mongodb原生的复制集方案非常简单好用。下面，就是相关的测试环境实验笔记。。。。单机mongodb转为复制集的操作步骤：MongoDB版本： 3.2.16实验环境中，3个mongodb实例运行在同一个虚拟机上。另外，从节约资源考虑，我们最终搭建完的结构是： 1主、1...
2019-06-20 22:38:14
464
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人