mysql
文章平均质量分 64
liuhanran
这个作者很懒,什么都没留下…
展开
-
轻量级基础运维op-agent
op-agent简介当我们管理的物理机以及数据库实例达到一定体量的时候,我们会面临诸多挑战,比如备份系统可能需要在本地执行任务;慢日志系统可能需要将日志收集到日志管理中心;高可用系统可能需要与本地任务交互,来实现更可靠地实例状态检测;自动诊断系统可能需要在本地执行特殊的任务等。另外我们可能需要快速感知集群拓扑结构的变化并自动更新元数据记录;以及在短时间内快速接收实例元信息等。基于以上需求,我设计、开发了一款轻量级的agent,以实现大规模任务的配置、部署、管理、API功能暴露等。架构...原创 2022-02-27 15:30:07 · 1048 阅读 · 0 评论 -
MySQL 解析binlog 统计DML、长事务与大事务分析工具之my2sql
my2sql简介go版MySQL binlog解析工具,通过解析MySQL binlog ,可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等,也可以生成DML统计信息。https://github.com/liuhr/my2sql安装编译git clone https://github.com/liuhr/my2sql.gitcd my2sql/go build .也可以直接下载Linux版编译好的可执行文件https://github.com/liuhr/my2sql/原创 2020-07-18 13:13:04 · 4539 阅读 · 2 评论 -
MySQL 解析binlog生成标准SQL工具之my2sql
my2sql简介go版MySQL binlog解析工具,通过解析MySQL binlog ,可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等,也可以生成DML统计信息。https://github.com/liuhr/my2sql安装编译git clone https://github.com/liuhr/my2sql.gitcd my2sql/go build .也可以直接下载Linux版编译好的可执行文件https://github.com/liuhr/my2sql/原创 2020-07-18 12:50:51 · 8117 阅读 · 1 评论 -
MySQL闪回工具之my2sql
my2sql简介go版MySQL binlog解析工具,通过解析MySQL binlog ,可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等,也可以生成DML统计信息。https://github.com/liuhr/my2sql安装编译git clone https://github.com/liuhr/my2sql.gitcd my2sql/go build .也可以直接下载Linux版编译好的可执行文件https://github.com/liuhr/my2sql/原创 2020-07-18 12:27:35 · 8256 阅读 · 4 评论 -
MySQL binlog回滚/闪回、前滚、DML统计、长事务与大事务分析之my2sql工具
my2sql简介go版MySQL binlog解析工具,通过解析MySQL binlog ,可以生成原始SQL、回滚SQL、去除主键的INSERT SQL等,也可以生成DML统计信息。类似工具有binlog2sql、MyFlash、my2fback等。用途数据快速回滚(闪回)主从切换后新master丢数据的修复从binlog生成标准SQL,带来的衍生功能生成DML统计信息,可以找到哪些表更新的比较频繁IO高TPS高, 查出哪些表在频繁更新找出某个时间点数据库是否有大事务或者长事务主从延迟原创 2020-07-18 11:13:38 · 2214 阅读 · 0 评论 -
数据库自动化运维平台--数据库巡检
数据库巡检这块目前还没正式开始做,不过把规划的内容先分享下。以后更新。。有图标的正打算做的,没图标的还没有安排敬请期待 。。。。。。。。。。。。。。。原创 2017-11-08 11:40:15 · 3978 阅读 · 3 评论 -
数据库自动化运维平台--自助DML
今天介绍下最近开发的一个平台,自助DML。什么是DML,就是平常执行的增删改查数据库操作。有人有疑问这不是程序访问的操作,为什么还要做一个平台操作这些呢,其实这种操作主要是开发需要线下修复数据的一种操作,不只是增删改,还有建表,建索引,添加字段等,这些操作开发一般会提给DBA协助操作数据库。可能你会觉得这些活能有多少,其实这种活真不少,我上家公司是电商互联网公司,大概有七八百个实例,每天的这种操作有近百个。处理近百个这种需求,基本上一个人一天就不用干别的了。虽说现在的公司实例少点,但每天的工作量还是很大,关原创 2017-04-19 13:58:05 · 10963 阅读 · 3 评论 -
读书笔记--InnoDB数据字典
在InnoDB中,系统表实际上是看不到的,不像Oracle那样可以方便地通过一个查询语句就能得到其中的内容。因为MySQL是一个插件式的数据库管理系统。它的结构分为两层,分别是Server层和存储引擎层。最早的存储引擎是MyISAM,它是没有数据字典的,关于表结构,它拥有的只有.frm文件,所以这导致了InnoDB也必须要有这个文件才使得Server层识别并管理它。对于Server层,一个表是什么原创 2017-06-10 08:48:17 · 1752 阅读 · 0 评论 -
读书笔记--MySQL 表对象缓存
表对象缓存 表对象缓存,是将某个表对象的字典信息缓存到内存中,用来提高对表访问的效率。某个表被访问过一次后,在服务器没有关闭且表定义没有被修改的条件下,访问这个表时,只需要从内存中找到这个已经缓存起来的对象并做相应的操作,而不必每次从系统表中读取它的定义并解析。表字典对象的缓存是通过HASH表来管理,通过表名(包括模式名)来构造一个HASH键值(Key),用来从HASH表中搜索对象。原创 2017-05-31 20:03:23 · 2321 阅读 · 0 评论 -
数据库自动化运维平台--慢日志展示平台
作为DBA来说经常与数据库的慢日志打交道,传统的慢日志一般都是文本方式存在,很多公司为了使慢日志可视化,平台化,服务化,都会考虑使用Anemometer开源平台实现。当然这边不会介绍Anemometer,网上有很多资料可以查阅。今天主要介绍一款我们自个开发的慢日志平台,为什么不用开源的呢,那样不是少很多的开发工作量。其实我们也用过,发现用它的成本有点高,易用行不好,开放给开发后他们还是原创 2017-04-20 22:45:26 · 1950 阅读 · 0 评论 -
关联字段字符集相同,但是校验规则不一样,导致表关联时做隐式转换,无法用到关联字段上的索引
同类型的case还有 关联字段字符集不一样,导致表关联时做隐式转换,无法用到关联字段上的索引案例分析如下:有2个表act_hi_comment,bpm_task_result,建表语句如下CREATE TABLE `act_hi_comment` ( `ID_` varchar(64) COLLATE utf8_bin NOT NULL, `TYPE_`转载 2017-04-28 18:12:45 · 1009 阅读 · 0 评论 -
INNODB并发线程数
innodb_thread_concurrencyINNODB存储引擎中允许的最大的线程并发数。innodb_thread_sleep_delay单位为毫秒;thread未能进入INNODB存储引擎后,需要等待innodb_thread_sleep_delay毫秒再次尝试进入。innodb_concurrency_ticketsthread进入INNODB中,会获得innodb_concurrenc转载 2017-04-17 18:31:15 · 815 阅读 · 0 评论