大忙人系列_如何使用Canal和kafka解决MySQL与Redis的同步问题？

最新推荐文章于 2022-12-08 19:14:00 发布

素雪风华

最新推荐文章于 2022-12-08 19:14:00 发布

阅读量873

点赞数

分类专栏：系统架构专题文章标签： java redis kafka elasticsearch mysql

本文链接：https://blog.csdn.net/ultingCSDN/article/details/105839725

版权

本文介绍了如何使用Canal结合Kafka解决MySQL到Redis的数据同步问题，包括MySQL环境配置、Canal服务端设置、客户端构建以及Kafka消费端的代码演示。通过Canal监听MySQL binlog并借助Kafka实现数据流转，确保数据一致性。

摘要由CSDN通过智能技术生成

写在前文

本文是我自己经过实践记录的，环境搭建简单快速，适合于前期学习（如果想深入了解Kafka、Redis、MySQL集群同步等相关知识本文不适用）。使用canal同步有两种方案，一种是使用canal原始的tcp方式，一种是使用canal+kafka类型；

Canal原理

Canal的服务端伪装成MySQL的从服务器，订阅MySQL的主服务器的binlog日志，实现增量同步数据，保持最终一致性。

1、搭建MySQL环境(Docker安装MySQL)

docker搭建MySQL可以参考其他文章。

配置：my.cnf文件

开启mysql的binlog同步文件，

# 方法一：
    log-bin=mysql-bin #添加这一行就ok
    binlog-format=ROW #选择row模式
    server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复

# 方法二：
    docker exec mysql bash -c "echo 'log-bin=/var/lib/mysql/mysql-bin' >> /etc/mysql/mysql.conf.d/mysqld.cnf"
    docker exec mysql bash -c "echo 'server-id=123454' >> /etc/mysql/mysql.conf.d/mysqld.cnf"
    docker restart mysql

重启MySQL:docker restart mysql

如果没有开启binlog的话，我们在console中执行：show variables like 'log_bin';的值就是OFF（开启后就为ON）。

在MySQL中创建canal账号（可以直接用root，也可以创建一个新的账号）

执行创建用户我的SQL语句：
drop user 'canal'@'%';
CREATE USER 'canal'@'%' IDENTIFIED BY 'canal';
grant all privileges on *.* to 'canal'@'%' identified by 'canal';
flush privileges;

注意：如果我们的权限不足的话，如下图。我们在执行程序的时候系统时连接不上MySQL的主节点的，会报权限不足。