mysqlbinlog工具_7 教你如何读取MySQL binlog

解析binlog可以做很多的事情，比如在ES做增量索引，可靠的同步消息(本地事物提交，也要成功发送到MQ)，缓存一致性(数据库中数据与缓存一致)，Delta实时数仓(Delta中数据与数据库在某个时间点之前一致)，Hive记录数据变更等等。

Canal是一个很好的解析MySQL数据库增量日志的工具。下面简单介绍下原理：

MySQL主备复制原理：

1. MySQL master将数据变更写入二进制日志(binary log，其中记录叫做二进制日志事件binary log events，可以通过show binlog events进行查看)；

2. MySQL slave将master的binary log events拷贝到它的中继日志(relay log)；

3. MySQL slave 重放relay log中事件，将数据变更反映它自己的数据。

canal 工作原理：

1. canal模拟MySQL slave的交互协议，伪装自己为MySQL slave，向MySQL master发送dump协议

2. MySQL master收到dump请求，开始推送binary log给slave(即 canal )

3. canal解析binary log对象(原始为byte流)

   而且在canal 1.1.1版本之后, 支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的Kafka和RocketMQ。

今天笔者讲一个与canal原理相似的库，也是 通过BINLOG_DUMP(它还支持BINLOG_DUMP_GTID协议)协议网络读取binlog ，并提供解析MySQL binlog的方法：https://github.com/shyiko/mysql-binlog-connector-java。 它有两种模式：BinaryLogFileReader日志读取模式(要求部署到MySQL机器，直接读取binlog文件)和BinaryLogClient客户端访问模式(需要授权，支持读取从库binlog)。 它可以根据binlog文件的position(起始位置)解析binlog event，下面通过一个示例了解一下BinaryLogClient，示例中只处理insert、delete和update事件： 准备条件，授权test连接MySQL账号如下权限：

CREATE USER test IDENTIFIED BY 'test';  GRANT SELECT, REPLICATION SLAVE, REPLICATIO