MySQL数据一致性检查工具

最新推荐文章于 2024-07-08 07:22:29 发布
最新推荐文章于 2024-07-08 07:22:29 发布
阅读量865 收藏 1
点赞数
分类专栏： mysql 文章标签： mysql
原文链接：https://blog.csdn.net/dba_waterbin/article/details/14522823
版权
数据的不一致常令DBA被客服或业务部门投诉，那么一致性便是耳根清净[虽然不能这么说]的良方
这里介绍MySQL官方的mysqldbcompare(python写的)和percona公司的pt-table-checksum(perl写的)

mysqldbcompare的作用是

对比两个数据库的表结构、表数据的一致性并能生成对应补偿的SQL，如主备、线上线下


对于差异的展现能通过参数--difftype调控
① unified (default)
② context
③ differ
④ sql

mysqldbcompare用于比较两个服务器或同个服务器上的数据库，有文件和数据，并生成差异性SQL语句。

要比较数据表，请用另外一个工具：mysqldiff（点击查看教程）。

以下是mysqldbcompare的用法。

1 安装

mysqldbcompare是MySQL Utilities中的一个脚本，默认的MySQL不包含工具集，所以需要独立安装。

Linux系统在下载页面选择对应发行版。

2 语法

mysqldbcompare的语法如下：

$ mysqldbcompare --server1=user:pass@host:port:socket --server2=user:pass@host:port:socket db1:db2

以上参数中：

  • --server1：MySQL服务器1配置。
  • --server2：MySQL服务器2配置。如果是同一服务器，--server2可以省略。
  • db1:db2：要比较的两个数据库。如果比较不同服务器上的同名数据库，可以省略:db2。
  • --all：比较所有两服务器上所有的同名数据库。--exclude排除无需比较的数据库。
  • --run-all-tests：运行完整比较，遇到第一次差异时不停止。
  • --changes-for=：修改对象。例如--changes-for=server2，那么对比以sever1为主，生成的差异的修改也是针对server2的对象的修改。
  • -d DIFFTYPE,--difftype=DIFFTYPE：差异的信息显示的方式，有[unified|context|differ|sql]，默认是unified。如果使用sql，那么就直接生成差异的SQL，这样非常方便。
  • --show-reverse：在生成的差异修改里面，同时会包含server2和server1的修改。
  • --skip-table-options：保持表的选项不变，即对比的差异里面不包括表名、AUTO_INCREMENT、ENGINE、CHARSET等差异。
  • --skip-diff：跳过对象定义比较检查。所谓对象定义，就是CREATE语句()里面的部分，--skip-table-options是()外面的部分。
  • --skip-object-compare：默认情况下，先检查两个数据库中相互缺失的对象，再对都存在对象间的差异。这个参数的作用就是，跳过第一步，不检查相互缺失的对象。
  • --skip-checksum-table：数据一致性验证时跳过CHECKSUM TABLE。
  • --skip-data-check：跳过数据一致性验证。
  • --skip-row-count：跳过字段数量检查。

3 示例

比较两个数据库，并生成差异SQL：

$ mysqldbcompare --server1=root:root@localhost --server2=root:root@localhost db1:db2 --changes-for=server1 -a --difftype=sql

# WARNING: Objects in server1.db1 but not in server1.db2:
# TABLE: table2
#
# WARNING: Objects in server1.db2 but not in server1.tb1:
# TABLE: table3
#
# Defn Row Data
# Type Object Name Diff Count Check
#-------------------------------------------------------------------------
# TABLE t1 pass pass -
# - Compare table checksum FAIL
# - Find row differences FAIL
#
# Transformation for --changes-for=server1:
#

# Data differences found among rows:
UPDATE db1.t1 SET b = ‘Test 123’ WHERE a = ‘1’;
UPDATE db1.t1 SET b = ‘Test 789’ WHERE a = ‘3’;
DELETE FROM db1.t1 WHERE a = ‘4’;
INSERT INTO db1.t1 (a, b) VALUES(‘5’, ‘New row - db2’);

# Database consistency check failed.
#
# …done

WARNING之后提示两个数据库表之间的差异，也就是一个数据库中有，另一个数据库没有的数据表。

之后就是差异的SQL语句了，把有#号注释的行删掉，就能直接在数据库中执行了。

说明：执行MySQL语句时可能会遇到这样错误：Error 1054 - Unknown column 'name' in 'aspect'

这是因为mysqldbcompare生成的ALTER语句中，用逗号,拼装了多条ADD、CHANGE等语句，如果这些语句还包含AFTER关键字，就会提示这个错误并中断执行MySQL语句。解决的办法就是：去除AFTER及其后面的条件。

这可能是MySQL的一个Bug，详情参考：http://bugs.mysql.com/bug.php?id=34972 和 http://bugs.mysql.com/bug.php?id=60650。

 

参考链接：

  1. mysql之mysqldbcompare实现多库数据对比
  2. mysqldbcompare — Compare Two Databases and Identify Differences

« »


在介绍pt-table-checksum之前，先看两组同学的测试






文档有句非常霸气的话：
No matter how large the server is, pt-table-checksum works equally well.
底气就在于Percona将表split成一个个chunk，基于chunk计算crc32值，每次checksum后
都会采集并分析Server的性能信息，并以此来调整chunk大小，避免对线上业务造成冲击
而且这只是其中一个比较耀眼的安全措施，当然文档还解释了很多保护服务器的特性


校验结束后，在每个从库上，执行如下的sql语句即可看到是否有主从不一致发生：   

select * from percona.checksums where master_cnt <> this_cnt OR master_crc <> this_crc OR ISNULL(master_crc) <> ISNULL(this_crc) \G

一些限制
① 表要有主键或唯一性索引，否则无法chunk表
② 主备checksum的库和表需要完全相同
③ binlog_format必须是statement模式


重要参数

安全选项：

–check-replication-filters 是否检查复制过滤规则 
–check-slave-tables 检查是否所有从库都有被检查的表和列
–chunk-size-limit 每个chunk最大不能超过这个大小，超过就忽略它

限速选项：

–check-interval 多久检查一次主从延迟、主库负载是否达到上限
–check-slave-lag 是否只检查这个从库的延迟 
–max-lag 最大延迟，超过这个就等待 
–max-load 最大负载，超过这个就等待

过滤选项：

–databases 只检查某些库 
–tables 只检查某些表 
这些过滤选项在修复不一致数据后，检查修复效果很有用。

其他选项

–resume 因某种原因中断，下次接着执行，不用从头开始 
–chunk-time 每个chunk被计算的时间，一般默认为0.5秒

简单范例 

# pt-table-checksum --user=root --password=oracle  --recursion-method=processlist


参考资料

http://dev.mysql.com/doc/workbench/en/mysqldbcompare.html
http://www.percona.com/doc/percona-toolkit/2.2/pt-table-checksum.html
http://nettedfish.sinaapp.com/blog/2013/06/04/check-replication-consistency-by-pt-table-checksum/


By 迦夜

2013-11-8

Good Luck

yimenglin
关注
专栏目录
mysql主从数据一致性校验及纠错工具
Bertram的博客
06-06 655
这篇文章主要向大家介绍mysql主从数据一致性校验及纠错工具,主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。 一、概述 假如你是一位运维人员，假如你生产环境上部署了mysql系统，再假如你线上的mysql是基于主从复制的架构，那恭喜你，它将可能会带给你主从数据不一致的"恶运"。 因为mysql复制架构原生特性，主从服务器上的数据不可能作”同步“复制，因此延时是必然会有的，即便是不那么繁忙的服务器上，在业务不繁忙的时间里，从库能追上主库的进度，也可能会由于从服务器崩溃、非法关机、程
mysql数据一致性检测_mysql主从数据一致性检测工具
weixin_36393352的博客
01-19 243
壹元视频percona-toolkit产品安装部署手册属 性内 容保密级别文档级别D级文档编号ITSM-01.01编 写 人审 核 人2019年02月文档修订记录序号版本号状态简要说明修订日期变更人审核人备注1V1.0C创建，全页。2018/08/09*状态：C——创建，A——增加，M——修改，D——删除目 录第一章 percona-toolkit产品简介... 11.1 功能概述... 11.2...
PostgreSQL 如何处理分布式环境中的数据一致性校验？
最新发布
2401_86074221的博客
07-08 665
数据一致性指的是在一个分布式系统中，各个节点上的数据在逻辑上保持一致，无论在何时何地进行访问，都能得到相同且正确的结果。
mysql数据一致性检测_mysql-数据一致性检测
weixin_33173924的博客
01-19 1134
一般来说呢，如何检测两张表的内容是否一致，这样的需求大多在从机上体现，以保证数据一致性。方法无非有两个，第一呢就是从数据库着手，第二呢就是从应用程序端着手。 我这里罗列了些如何从数据库层面来解决此类问题的方法。当然第一步就是检查记录数是否一致，否则不用想任何其他方法了。这里我们用两张表t1_old,t1_new来演示。表结构：CREATETABLEt1_old(idint(11)NOT...
MySQL数据一致性检查的几个工具
热门推荐
分享技术，分享知识
03-13 1万+
1、MySQL checksum命令 在执行checksum命令时，表会被加一个读锁(read lock)，checksum table的原理是对表中的数据进行一行一行的较验和计算，因些对于大表，这是一个很耗时的过程。 如果对于myisam表，建表时加上CHECKSUM=1选项，那么在对这样的表进行checksum table时将会非常快 checksum table tes
使用 pt-table-checksum 检查MySQL数据一致性
wade1010的专栏
11-24 357
格式有些乱 笔记链接http://note.youdao.com/s/RZa4lVSF Step 1. pt-table-chum 原理 pt-table-checksum用于在线检测MySQL主从一致性，其原理是在主库执行checksum查询，然后与从库进行结果的比对，从而得出是否一致性的报告. pt-table-checksum checksum每张表，然后得出每个从库的一致性报告。pt-table-checksum 工具只关注数据的不一致，修复数据一致性需要用到 pt-table-sync.
MySQL主从一致性检查&修复攻略
10-12
本文将详细介绍如何进行MySQL主从一致性检查和修复，以及相关工具的使用方法。 首先，主从一致性检查与修复是数据库管理员（DBA）必须掌握的一项重要技能。通过一致性检查，管理员可以发现并及时处理主从服务器之间...
mysql检测数据一致性软件
11-10
------安装percona-toolkit工具包 tar zxf percona-toolkit-2.2.20.tar.gz cd percona-toolkit-2.2.20 perl Makefile.PL ----需要依赖yum install perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker make && make ...
数据对比软件
01-05
可以对比txt里的数据是否一致，不一致的地方标记出来
mysql 一致性检查_mysql主从数据一致性检查: pt-table-checksum
weixin_39744554的博客
01-19 75
Master: 3306实例Slave: 3307实例Master:pt-table-checksum --algorithm=BIT_XOR --empty-replicate-table --create-replicate-table --nocheck-replication-filters --databases=test --replicate=test.checksums ...
检查mysql主从数据一致性,mysql主从数据一致性检查
weixin_39580682的博客
03-27 705
mysql主从数据有时会发生不一致，主要可能有以下几点原因：1.从库没有设置read_only为on| read_only | OFF |导致用户误操作了从库的数据2.从库设置了read_only为on，但是权限控制没有做好，导致拥有super的用户，误操作了从库的数据所以，为了保证主从数据的一致性，需要1.从库设置read_only为on2.对用户权限做梳理，收回所有用户的super以及all权...
检查mysql主从数据一致性_怎么检测mysql主从数据一致性
weixin_29515393的博客
01-19 975
2016-11-27 回答利用pt-table-checksum工具它通过在主库执行基于statement的sql语句来生成主库数据块的checksum，把相同的sql语句传递到从库，并在从库上计算相同数据块的checksum，最后，比较主从库上相同数据块的checksum值，由此判断主从数据是否一致。简单说一下checksum的计算原理1. 单行数据checksum值的计算pt工具先检查表的结构...
Mysql、Oracle数据比对工具GT-Checksum
qq_34692500的博客
03-15 349
【代码】mysql、oracle数据比对工具。
MySQL主从一致性校验工具pt-table-checksum简单介绍
pyf2533931995的博客
04-09 864
pt-table-checksum是percona toolkit工具中的一个命令，用于在线比较Mysql主从数据一致性。写入一个表中，通过主从复制，在从库上也执行同样的操作，再对比主从库上的校验和信息，判断主从是否一致。将一张大表分为多个块，默认第一个块是1000条数据，后面的块大小会根据机器性能浮动。使用replica into而不是insert into避免了主键冲突问题。–no-check-binlog-format 不校验binlog格式。针对每个块计算校验和，将结果通过。
MySQL主从一致性校验：深度实践与策略探索
博客
01-03 1223
主从一致性校验的核心原理是比较主从数据库中的数据是否一致。一般情况下，可以通过比较主数据库和从数据库中对应表的数据行数，以及对应表的数据内容来进行一致性校验。在MySQL主从复制中，进行一致性校验是确保数据一致性的重要手段。通过合适的工具和策略，可以及时发现并解决主从复制中的数据不一致问题。
MySQL非主从环境下数据一致性校验
Boyhou 的专栏
02-01 262
另一种需求是，整库进行字符集转换：库表定义都是utf8，但应用连接使用了默认的 latin1，要将连接字符集和表字符集统一起来，只能以latin1导出数据，再以utf8导入，这种情况数据一致性校验，且不说binlog解析程序不支持statement（如canal），新旧库本身内容不同，pt-table-checksum 算出的校验值也会不一样，失效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值