数据主从一致性校验及自修复（pt-table-checksum & pt-table-sync）

最新推荐文章于 2024-08-16 18:39:05 发布
最新推荐文章于 2024-08-16 18:39:05 发布
阅读量79 收藏
点赞数
文章标签： 数据库 运维
原文链接：http://www.cnblogs.com/kikimother/p/7685627.html
版权

目前，自己运维的数据库仍然使用MySQL replication方式同步数据。很多情况会导致主从数据不一致：1、备份库数据是离线数据，直接用备份数据进行恢复的从库，不能确定是否跟线上数据一致。目前恢复从库后，要么需要全库做一次checksum，要么等业务发现。2、主库异常故障，新主库数据是否和老主库数据一致，不能保证。目前通过对比新老主库的binlog确定是否一致。

 

转载于:https://www.cnblogs.com/kikimother/p/7685627.html

weixin_30258901
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
percona-toolkit-3.zip
03-15
1、percona-toolkit-3 rpm包，含 CentOS 6和7版本 ...3、pt-table-checksum 检测MySQL主从数据一致性 4、pt-table-sync 修复主从数据不一样的记录 3、pt-online-schema-change 在线更新MySQL数据结构
checksum-maven-plugin：计算Maven项目工件依赖文件校验和摘要
02-03
这通常通过计算文件的校验和来实现，而`checksum-maven-plugin`就是这样一款专为Maven项目设计的插件，它可以帮助开发者计算并验证项目工件、依赖项以及任何其他文件的校验和摘要。 `checksum-maven-plugin`是Maven...
检查数据不一致脚本
ateu52935的博客
01-11 124
import MySQLdb max_id=250000 sql_prefix="select crc32(group_concat(concat(id,k,c,pad))) from sbtest1 where id>= %s and id < %s" xhdb1 = MySQLdb.connect(host="*", # your host, usual...
复制的一致性校验和修复 实现
mysql_lover
02-27 638
1.    引言 “MySQL主从复制”技术在互联网行业常见高可用架构中应用非常广泛，例如常见的一主一从复制架构、keepalived＋MySQL双主（主从）复制架构、MHA＋一主两从复制架构等等都应用了MySQL主从复制技术。但因主从复制是基于binlog的逻辑复制，难免出现复制数据不一致的风险，这个风险不但会引起用户数据访问前后不一致的风险，而且会导致后续复制出现1032、1062错误进而引
pt-table-checksum检查主从数据一致性，及修复主从数据完整性
weixin_33690367的博客
12-16 157
前言pt-table-checksum是一个在线验证主从数据一致性的工具,主要用于以下场景:1. 数据迁移前后,进行数据一致性检查2. 当主从复制出现问题,待修复完成后,对主从数据进行一致性检查3. 把从库当成主库,进行数据更新,产生了"脏数据"4. 定期校验5.使用此工具前一定要安装 percona-toolkit,安装方法可以参考http://azhuang.blog.5...
mysql主从数据一致性校验及纠错工具
weixin_33995481的博客
04-21 486
目录1、概述2、percona-tooldit工具的安装3、新建用户4、pt-table-checksum使用5、pt-table-sync使用6、个人总结1、概述 假如你是一位运维人员，假如你生产环境上部署了mysql系统，再假如你线上的mysql是基于主从复制的架构，那恭喜你，它将可能会带给你主从数据不一致的"恶运"。 由于mysql复制架构原生特性，主从服务...
MySQL主从复制数据一致性校验shell脚本
Lion_blog
04-07 2647
最近发现vos数据库的binlog同步有些表的数据和主服务器的不一致，表的行数也不一致，原因未查明，有可能是升级安装的和直接安装的配置文件中的参数不一样导致，导致切换主从的时候vos服务无法正常启动，检查vos的log，发现是数据库的ID冲突（不同表ID相同也会冲突，不知道什么逻辑），只好写一个脚步每天校验数据是否一样。本来想用python写的，因为所有服务器的python版本都是2.4.3版本，
MySQL主从一致性校验工具pt-table-checksum简单介绍
pyf2533931995的博客
04-09 821
pt-table-checksum是percona toolkit工具中的一个命令，用于在线比较Mysql主从数据一致性。写入一个表中，通过主从复制，在从库上也执行同样的操作，再对比主从库上的校验和信息，判断主从是否一致。将一张大表分为多个块，默认第一个块是1000条数据，后面的块大小会根据机器性能浮动。使用replica into而不是insert into避免了主键冲突问题。–no-check-binlog-format 不校验binlog格式。针对每个块计算校验和，将结果通过。
通过pt-table-checksum和pt-table-sync解决mysql主从及主主架构数据不一致问题
吴业亮的专栏
07-31 1573
作者：吴业亮 博客：http://blog.csdn.net/wylfengyujiancheng 简介： pt-table-checksum是percona-toolkit系列工具中的一个， 可以用来检测主、 从数据库中数据的一致性。其原理是在主库上运行， 对同步的表进行checksum， 记录下来 在MySql主从复制架构的应用中，长时间运行的DB出现各种异常之后，可能会有主备不一致的情况产生...
MySQL主从校验工具之 pt-table-checksum
为了小家奋斗
04-26 442
pt-table-checksum 通过分块计算数据校验和、利用主从复制机制传播校验操作、并在主从服务器间比较校验结果，实现了对MySQL主从复制环境中数据一致性的高效在线校验。- pt-table-checksum 在从服务器上再次运行，这次它不再计算校验和，而是直接从主从两方的临时表或目标表中提取已计算好的校验和数据进行比较。pt-table-sync 依据pt-table-checksum 的报告，将主服务器上的正确数据同步到从服务器，以恢复数据一致性。因此，从服务器上也会生成对应的校验和信息。
数据一致性校验（pt-table-checksum）（一）
2301_76957510的博客
05-18 1053
可以指定 --check-slave-lag，则只检查指定服务器的 lag，而不是所有从库。如果主库或从库设置了binlog_ignore_db 或 replicate_do_db 的过滤选项，因为不能保证查询和校验和不会导致复制中断，所以执行工具会因报错而终止。但是，如果 pid 文件存在并且它包含的 pid 不再运行，则该工具将用当前 pid 覆盖该 pid 文件。工具会监视所有从库的延迟，如果某个从库延迟超过 --max-lag 的值，则暂停执行校验和，直到从库的延迟小于 --max-lag 的值。
percona-toolkit-3.5.2（多平台软件包）
05-21
Percona Toolkit 是高级开源命令行工具的集合，允许执行各种 MySQL、MariaDB、...percona-toolkit工具集中pt-table-checksum工具检查主从复制中的数据一致性，通过pt-table-sync工具修改主从复制节点中数据不一致问题。
MySQL主从一致性检查&修复攻略
10-12
在本次讨论中，我们将使用由Percona公司开发的percona-toolkit工具集中的pt-table-checksum工具来进行主从一致性检查。Percona是一个领先的MySQL咨询公司，该公司开发的很多软件都超越了MySQL自身，具有较高的可靠性...
CRC循环校验具体算法.rar_CRC-16_CRC校验 c语言_checksum_crc 校验_crc-ccitt
09-19
在标签中，"checksum"指的是校验和，它是另一种简单的错误检测方法，通常用于检查数据的完整性和一致性。虽然CRC比校验和更复杂，但其纠错能力更强。"crc校验"和"_校验"都指的是CRC校验的过程，而"crc-ccitt"再次...
webjs 数据库 离线读取本地数据库源码-SAAS 本地化及未来之窗行业应用跨平台架构
cybersnow精通 28 门计算机语言，凭借其超凡的技术能力，成功开发过上万个应用，广泛涉及政府、商业、个人等众多领域，甚至在检察院、环保局、公安局等专业场景中也大放异彩。不仅熟练掌握单片机和物联网开发，在软件架构设计方面更是独树一帜，自创了跨平台软件
08-15 177
【代码】webjs 数据库 离线读取本地数据库源码-SAAS 本地化及未来之窗行业应用跨平台架构。
[Qt][Qt窗口][下]详细讲解
SnowK博客
08-13 3688
[Qt][Qt窗口][下]详细讲解
mysql介绍
weixin_57763462的博客
08-14 301
丰富的存储引擎：MySQL 提供了多种存储引擎，如 InnoDB、MyISAM、Memory 等，每种存储引擎都有其特定的应用场景和优势。多语言支持：MySQL 支持多种编程语言，包括 C、C++、Python、Java、Perl、PHP 等，并提供了相应的 API。安全性：MySQL 提供了灵活的权限和密码系统，支持基于主机的验证，并且所有的密码传输都采用加密形式，确保了数据的安全性。管理工具：MySQL 提供了丰富的管理工具，如命令行客户端、图形界面管理工具等，方便用户进行数据库的管理和维护。
旅游网站
最新发布
weixin_43213064的博客
08-16 601
【代码】springboot旅游网站
pt-table-checksum 需要在从库建立checksum表和dsns表吗
06-13
`pt-table-checksum` 工具是一...因此，如果您要使用 `pt-table-checksum` 工具检查 MySQL 主从复制数据的一致性，您需要在从库上建立 `checksums` 表和 `dsns` 表，并为 `pt-table-checksum` 工具提供正确的连接信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值