使用 Docker 部署 canal 服务，实现 MySQL 数据库 binlog 日志解析

client.check_valid(username=b’‘, password=b’')

client.subscribe(client_id=b’1001’, destination=b’test’, filter=b’.\…')

while True:

message = client.get(100)

entries = message[‘entries’]

for entry in entries:

entry_type = entry.entryType

if entry_type in [EntryProtocol_pb2.EntryType.TRANSACTIONBEGIN, EntryProtocol_pb2.EntryType.TRANSACTIONEND]:

continue

row_change = EntryProtocol_pb2.RowChange()

row_change.MergeFromString(entry.storeValue)

event_type = row_change.eventType

header = entry.header

database = header.schemaName

table = header.tableName

event_type = header.eventType

for row in row_change.rowDatas:

format_data = dict()

if event_type == EntryProtocol_pb2.EventType.DELETE:

for column in row.beforeColumns:

format_data = {

column.name: column.value

}

elif event_type == EntryProtocol_pb2.EventType.INSERT:

for column in row.afterColumns:

format_data = {

column.name: column.value

}

else:

format_data[‘before’] = format_data[‘after’] = dict()

for column in row.beforeColumns:

format_data[‘before’][column.name] = column.value

for column in row.afterColumns:

format_data[‘after’][column.name] = column.value

data = dict(

db=database,

table=table,

event_type=event_type,

data=format_data,

)

print(data)

time.sleep(1)

client.disconnect()

功能验证

首先在 MySQL 里边创建一张测试表，然后再增删改几条测试数据：

mysql> create database test;

mysql> use test;

mysql> CREATE TABLE role ( id int unsigned NOT NULL AUTO_INCREMENT, role_name varchar(255)

DEFAULT NULL, PRIMARY KEY (id) ) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

mysql> insert into role (id, role_name) values (10, ‘admin’);

Query OK, 1 row affected (0.01 sec)

mysql> update role set role_name=‘hh’ where id = 10;

Query OK, 1 row affected (0.01 sec)

Rows matched: 1 Changed: 1 Warnings: 0

mysql> delete from role where id = 10;

Query OK, 1 row affected (0.01 sec)

客户端打印输出：

$ python canal_client.py

connected to 127.0.0.1:11111

Auth succed

Subscribe succed

header {

version: 1

logfileName: “mysql-bin.000003”

logfileOffset: 5497

serverId: 1

serverenCode: “UTF-8”

executeTime: 1607843285000

sourceType: MYSQL

eventLength: 75

}

entryType: TRANSACTIONBEGIN

storeValue: " \217\001"

header {

version: 1

logfileName: “mysql-bin.000003”

logfileOffset: 5630

serverId: 1

serverenCode: “UTF-8”

executeTime: 1607843285000

sourceType: MYSQL

schemaName: “test”

tableName: “role”

eventLength: 47

eventType: INSERT

props {

key: “rowsCount”

value: “1”

}

}

entryType: ROWDATA

storeValue: “\010\322\001\020\001P\000bN\022 \010\000\020\004\032\002id \001(\0010\000B\00210R\014int unsigned\022*\010\001\020\014\032\trole_name \000(\0010\000B\005adminR\014varchar(255)”

{‘db’: ‘test’, ‘table’: ‘role’, ‘event_type’: 1, ‘data’: {‘role_name’: ‘admin’}}

header {

version: 1

logfileName: “mysql-bin.000003”

logfileOffset: 5677

serverId: 1

serverenCode: “UTF-8”

executeTime: 1607843285000

sourceType: MYSQL

eventLength: 31

}

entryType: TRANSACTIONEND

storeValue: “\022\003440”

变更一条数据，输出内容分三部分，分别是：TRANSACTIONBEGIN，ROWDATA 和 TRANSACTIONEND。然后我们比较关注的内容都在 ROWDATA 中，解析出来之后就是我们需要的，包括数据库名，表名和变更内容。

其中 event_type 字段 1 表示新增，2 表示更新，3 表示删除。

update 对应输出：

{‘db’: ‘test’, ‘table’: ‘role’, ‘event_type’: 2, ‘data’: {‘before’: {‘id’: ‘10’, ‘role_name’: ‘hh’}, ‘after’: {‘id’: ‘10’, ‘role_name’: ‘hh’}}}

delete 对应输出：

{‘db’: ‘test’, ‘table’: ‘role’, ‘event_type’: 3, ‘data’: {‘role_name’: ‘hh’}}

canal 服务端启动之后，在 /home/admin/canal-server/logs/test 目录下会生成两个日志文件，分别是：meta.log 和 test.log，可以查看服务是不是正常，有没有报错信息。其中 test 是启动 Docker 时 canal.destinations 设置的名称。

cat meta.log

2020-12-13 14:55:18.051 - clientId:1001 cursor:[mysql-bin.000003,4805,1607842360000,1,] address[/127.0.0.1:3306]

2020-12-13 14:55:33.051 - clientId:1001 cursor:[mysql-bin.000003,5096,1607842531000,1,] address[127.0.0.1:3306]

2020-12-13 14:57:07.051 - clientId:1001 cursor:[mysql-bin.000003,5387,1607842625000,1,] address[127.0.0.1:3306]

cat test.log

2020-12-13 14:55:09.067 [main] INFO c.a.otter.canal.instance.core.AbstractCanalInstance - start successful…

2020-12-13 14:55:09.144 [destination = test , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - —> begin to find start position, it will be long time for reset or first position

2020-12-13 14:55:09.144 [destination = test , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - prepare to find start position just show master status

2020-12-13 14:55:09.693 [destination = test , address = /127.0.0.1:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - —> find start position successfully, EntryPosition[included=false,journalName=mysql-bin.000003,position=4699,serverId=1,gtid=,timestamp=1607842360000] cost : 538ms , the next step is binlog dump

踩坑记录

在我自己搭建的测试环境一切正常，但放到项目 beta 环境上还是遇到了一个问题：

[fetch failed by table meta:schemeName.tableName]

查了一下说是由于表删除，或者表结构变更引起的解析错误，增加一条配置就可以解决：

canal.instance.filter.table.error=true

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

写在最后

很多人感叹“学习无用”，实际上之所以产生无用论，是因为自己想要的与自己所学的匹配不上，这也就意味着自己学得远远不够。无论是学习还是工作，都应该有主动性，所以如果拥有大厂梦，那么就要自己努力去实现它。

最后祝愿各位身体健康，顺利拿到心仪的offer！

由于文章的篇幅有限，所以这次的蚂蚁金服和京东面试题答案整理在了PDF文档里

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！
因为自己想要的与自己所学的匹配不上，这也就意味着自己学得远远不够。无论是学习还是工作，都应该有主动性，所以如果拥有大厂梦，那么就要自己努力去实现它。

最后祝愿各位身体健康，顺利拿到心仪的offer！

由于文章的篇幅有限，所以这次的蚂蚁金服和京东面试题答案整理在了PDF文档里

[外链图片转存中…(img-YAb15RZQ-1712320240464)]

[外链图片转存中…(img-Zu1rRhMb-1712320240464)]

[外链图片转存中…(img-LcUsUPYO-1712320240465)]
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！