数据库运维平台
文章平均质量分 62
liuhanran
这个作者很懒,什么都没留下…
展开
-
轻量级基础运维op-agent
op-agent简介当我们管理的物理机以及数据库实例达到一定体量的时候,我们会面临诸多挑战,比如备份系统可能需要在本地执行任务;慢日志系统可能需要将日志收集到日志管理中心;高可用系统可能需要与本地任务交互,来实现更可靠地实例状态检测;自动诊断系统可能需要在本地执行特殊的任务等。另外我们可能需要快速感知集群拓扑结构的变化并自动更新元数据记录;以及在短时间内快速接收实例元信息等。基于以上需求,我设计、开发了一款轻量级的agent,以实现大规模任务的配置、部署、管理、API功能暴露等。架构...原创 2022-02-27 15:30:07 · 1049 阅读 · 0 评论 -
MySQL 解析binlog 统计DML、长事务与大事务分析工具之my2sql
my2sql简介go版MySQL binlog解析工具,通过解析MySQL binlog ,可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等,也可以生成DML统计信息。https://github.com/liuhr/my2sql安装编译git clone https://github.com/liuhr/my2sql.gitcd my2sql/go build .也可以直接下载Linux版编译好的可执行文件https://github.com/liuhr/my2sql/原创 2020-07-18 13:13:04 · 4541 阅读 · 2 评论 -
MySQL 解析binlog生成标准SQL工具之my2sql
my2sql简介go版MySQL binlog解析工具,通过解析MySQL binlog ,可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等,也可以生成DML统计信息。https://github.com/liuhr/my2sql安装编译git clone https://github.com/liuhr/my2sql.gitcd my2sql/go build .也可以直接下载Linux版编译好的可执行文件https://github.com/liuhr/my2sql/原创 2020-07-18 12:50:51 · 8129 阅读 · 1 评论 -
MySQL闪回工具之my2sql
my2sql简介go版MySQL binlog解析工具,通过解析MySQL binlog ,可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等,也可以生成DML统计信息。https://github.com/liuhr/my2sql安装编译git clone https://github.com/liuhr/my2sql.gitcd my2sql/go build .也可以直接下载Linux版编译好的可执行文件https://github.com/liuhr/my2sql/原创 2020-07-18 12:27:35 · 8266 阅读 · 4 评论 -
MySQL binlog回滚/闪回、前滚、DML统计、长事务与大事务分析之my2sql工具
my2sql简介go版MySQL binlog解析工具,通过解析MySQL binlog ,可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等,也可以生成DML统计信息。类似工具有binlog2sql、MyFlash、my2fback等。用途数据快速回滚(闪回)主从切换后新master丢数据的修复从binlog生成标准SQL,带来的衍生功能生成DML统计信息,可以找到哪些表更新的比较频繁IO高TPS高, 查出哪些表在频繁更新找出某个时间点数据库是否有大事务或者长事务主从延迟原创 2020-07-18 11:13:38 · 2219 阅读 · 0 评论 -
数据库自动化运维平台--DDL平台服务
最近做了一个自认为很牛逼的平台,RD自助DDL操作,其实这种操作开放给RD自助执行是非常危险的,即便是DBA在做大表操DDL的时候,都经常会出现一些状况,比如造成锁等待连接打满,造成主从延迟等。其实这部分只要用对工具,把特殊情况考虑到,也是可以做成服务开放出去的。先来了解下目前在线表DDL的几种方式以及优缺点1, 通过InnoDB在线online功能原创 2017-11-07 17:44:54 · 2371 阅读 · 0 评论 -
数据库自动化运维平台--数据库巡检
数据库巡检这块目前还没正式开始做,不过把规划的内容先分享下。以后更新。。有图标的正打算做的,没图标的还没有安排敬请期待 。。。。。。。。。。。。。。。原创 2017-11-08 11:40:15 · 3981 阅读 · 3 评论 -
数据库自动化运维平台--自助建表建库
在没有建表审核执行平台之前,DBA一般通过人肉方式审核RD提交的建表语句。这种方式一般是RD提交jira,DBA接收到jira后用 "火眼金睛" 目测他们建表SQL是否符合规范。一般会有以下几点问题1, 语法错误,经常有RD不经过测试就发给DBA,真正运行时候才发现错误。2, 规则问题,建表的时候 一般DBA都会建立一套规则,比如字符集,索引,字段长度等,通过人肉的方式原创 2017-11-07 17:12:13 · 1528 阅读 · 0 评论 -
数据库自动化运维平台--自助DML
今天介绍下最近开发的一个平台,自助DML。什么是DML,就是平常执行的增删改查数据库操作。有人有疑问这不是程序访问的操作,为什么还要做一个平台操作这些呢,其实这种操作主要是开发需要线下修复数据的一种操作,不只是增删改,还有建表,建索引,添加字段等,这些操作开发一般会提给DBA协助操作数据库。可能你会觉得这些活能有多少,其实这种活真不少,我上家公司是电商互联网公司,大概有七八百个实例,每天的这种操作有近百个。处理近百个这种需求,基本上一个人一天就不用干别的了。虽说现在的公司实例少点,但每天的工作量还是很大,关原创 2017-04-19 13:58:05 · 10963 阅读 · 3 评论 -
数据库自动化运维平台--自助权限申请
客户端程序访问数据库都需要一个连接数据库的用户名和密码,这个用户一般是DBA帮RD创建。根据安全级别的不同,每个团队都会有不同的授权方式。我们在用户访问数据库安全方面也制定了一套规则:1)读写账号只能有SELECT,DELETE,UPDATE,INSERT权限。 2)用户的白名单IP不能是一个网络,必须是一个IP。3)白名单IP必须是线上的服务器IP,不能是个人测试机IP。对于白名单IP不能是原创 2017-06-15 17:29:17 · 4316 阅读 · 3 评论 -
数据库自动化运维平台--慢日志展示平台
作为DBA来说经常与数据库的慢日志打交道,传统的慢日志一般都是文本方式存在,很多公司为了使慢日志可视化,平台化,服务化,都会考虑使用Anemometer开源平台实现。当然这边不会介绍Anemometer,网上有很多资料可以查阅。今天主要介绍一款我们自个开发的慢日志平台,为什么不用开源的呢,那样不是少很多的开发工作量。其实我们也用过,发现用它的成本有点高,易用行不好,开放给开发后他们还是原创 2017-04-20 22:45:26 · 1950 阅读 · 0 评论 -
数据库自动化运维平台--元数据平台
数据库元数据平台很多DBA可能都用过Excel来维护数据库集群列表,在公司数据库集群规模比较小,用这种方式维护也是很简单方便的。但随着数据实例越来越多达到了上百上千的时候,再用这种方式维护就要崩溃了。所以一旦集群上了规模,每个公司都要开发类似CMDB的平台来维护集群信息 。由于本人所在的DBA部门开发资源有限,所以自个也花一个月的时间学习的相关知识,开发了一款MySQL元数据平台,希望能给做平原创 2017-04-12 15:00:08 · 7276 阅读 · 4 评论