Canal

一 docker搭建mysql/canal

// 使用此条命令 echo -e ' ' > mysqld.cnf
// -e 表示输出转义字符 比如\t 表示制表符，\n 表示换行
// 需要在mysqld.cnf文件中[mysqld]下写入下面三行内容
// server-id = 1 （在整个Mysql集群中保证唯一）
// log-bin = binlog
// log-bin-index = binlog.index
// 将mysqld.cnf里面除了注释部分加上上面三行内容重新写入

# echo -e '[mysqld]\npid-file\t= /var/run/mysqld/mysqld.pid\nsocket\t= /var/run/mysqld/mysqld.sock\ndatadir\t= /var/lib/mysql\nsymbolic-links=0\nserver-id = 1\nlog-bin = binlog\nlog-bin-index = binlog.index'>mysqld.cnf

// 查看修改后的mysqld.cnf内容

# cat mysqld.anf

docker run --name some-mysql -v /my/custom:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:tag

docker run --name xiaohe-mysql -e MYSQL_ROOT_PASSWORD=xxx -d -p 3306:3306 -v ~/mysql_data:/var/lib/mysql mysql:5.7.35 --character-set-server=utf8mb4 --log-bin=mysql-bin --binlog-format=ROW --server_id=1


run.sh -e canal.instance.master.address=10.199.xx.xx:3306 \
-e canal.instance.dbUsername=canal \
-e canal.instance.dbPassword=canal \
-e canal.instance.connectionCharset=UTF-8 \
-e canal.instance.tsdb.enable=true \
-e canal.instance.gtidon=false \
-e canal.instance.filter.regex=.*\\\..*

如果一个事务包含的日志条目超过了环形缓存区的长度，为了保证数据不丢失，会首先将环形缓存区的数据全部提交，然后接收新的数据，这样一个事务中的消息会被分成多次提交到 EventSink