mysql主从一致性保证_MySQL主从数据一致性怎么校验

背景

新项目要上线了，数据库采用的MySQL主从同步配置。为了确保上线前迁移的数据一致性，指定了多种预案，为了确保主从数据一致，使用了percona-toolkit 。

percona-toolkit源自Maatkit 和Aspersa工具，这两个工具是管理mysql的最有名的工具，现在Maatkit工具已经不维护了，请大家还是使用percona-toolkit吧！这些工具主要包括开发、性能、配置、监控、复制、系统、实用六大类，里面的工具对DBA非常有用，如果能掌握并加以灵活应用，将能极大的提高工作效率。本文主要介绍percona-toolkit(以下简称PT)安装过程及通过其检查两个库的一致性及延迟率。

安装过程

安装Perl运行环境

PT是通过Perl语言编写的，因此使用时首先要安装Perl运行环境。

查找依赖环境，命令如下：

rpm -qa perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL

接下来就是缺啥，安装啥，用如下命令：

yum install perl-DBI

yum install perl-DBD-MySQL

yum install perl-Time-HiRes

yum install perl-IO-Socket-SSL

PT下载

笔者通过wget方式获取PT，发现下载速度很慢，推荐去官网找到下载链接，用下载工具进行下载。

安装TermReadKey

在安装PT前，要先安装TermReadKey，否则会报错，可以在下面的地址下载：

执行一下命令，安装TermReadKey

rpm -ivh perl-TermReadKey-2.30-1.el5.rf.x86_64.rpm

PT安装

通过以下命令，对PT进行安装

rpm -ivh percona-toolkit-3.3.0-1.el7.x86_64.rpm

成功安装的校验

1. 执行完安装命令没有提示出错

2. 执行pt命令，例如pt-table-checksum，有命令提示

安装注意事项

若安装PT过程中报错，提示

在MySQL8和MySQL5.7下亲测，执行以下命令可以解决：

yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL

yum -y install rsync perl l perl-Digest-MD5

若报错如下：

执行以下命令：

rpm -ivh mysql-community-libs-compat-8.0.23-1.el7.x86_64.rpm(版本按需调整)

主从是否一致的校验

首先在各个库中都要有checksums表

create database percona;

CREATE TABLE checksums (

db CHAR(64) NOT NULL,

tbl CHAR(64) NOT NULL,

chunk INT NOT NULL,

chunk_time FLOAT NULL,

chunk_index VARCHAR(200) NULL,

lower_boundary TEXT NULL,

upper_boundary TEXT NULL,

this_crc CHAR(40) NOT NULL,

this_cnt INT NOT NULL,

master_crc CHAR(40) NULL,

master_cnt INT NULL,

ts TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,

PRIMARY KEY (db, tbl, chunk),

INDEX ts_db_tbl (ts, db, tbl)

) ENGINE=InnoDB;

执行以下命令对主从一致性进行检查

pt-table-checksum --nocheck-replication-filters --no-check-binlog-format --replicate=percona.checksums --create-replicate-table --databases=目标库 --tables=目标表 h=主库IP,u=主库用户,p='主库密码',P=3306

看到以下结果，执行成功

结果说明：

ERRORS`：检查时候发生错误和警告的数量。

`DIFFS`：0表示一致，1表示不一致。

当指定--no-replicate-check时，会一直为0，当指定--replicate-check-only会显示不同的信息。`

ROWS`：表的行数。

`CHUNKS`：被划分到表中的块的数目。

`SKIPPED`：由于错误或警告或过大，则跳过块的数目。

`TIME`：执行的时间。

`TABLE`：被检查的表名。