kafka集群搭建:https://blog.csdn.net/qq_45271350/article/details/119411593
canal原理:
1,canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议
2,mysql master收到canal的dump请求,开始推送binary log给slave(也就是canal)
3,canal解析binary log对象(原始为byte流)
一,下载安装canal
cd /usr/local/src/
wget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deployer-1.1.5.tar.gz
mkdir /usr/local/canal
tar -zxvf canal.deployer-1.1.5.tar.gz -C /usr/local/canal
useradd canal
passwd canal
chown canal:canal /usr/local/canal
chown canal:canal /usr/local/canal -R
yum -y install java
#创建canal连接数据库账户
mysql -uroot -proot
>create user 'canal'@'%' identified by 'canal';
>grant all privileges on *.* to 'canal'@'%';
>flush privileges;
su canal
#修改配置文件,canal有两个重要的配置文件,第一个是 /usr/local/canal/conf/canal.properties
#第二个是example下的 /usr/local/canal/conf/example/instance.properties
#修改canal的主配置文件
vim /usr/local/canal/conf/canal.properties
#主要修改以下配置
canal.ip = 192.168.1.112
canal.serverMode = kafka #选择kafka
canal.mq.servers = 192.168.1.249:9092 #kafka的连接地址
#example可以是多个(当你需要同时获取多个数据库的binlog时),
#不过需要对应的修改/usr/local/canal/conf/canal.properties中的canal.destinations配置,
#如:canal.destinations = example1,example2,启动canal时就会对应的载入conf下example1和example2的配置
#修改example配置
cd /usr/local/canal/conf/example/
vim instance.properties
canal.instance.master.address=192.168.1.112:3306 # 需要连接的数据库
canal.instance.dbUsername=canal #数据库账号
canal.instance.dbPassword=canal #数据库密码
canal.instance.defaultDatabaseName=test #连接的database
canal.instance.connectionCharset = UTF-8
canal.instance.filter.regex=.*\\..* #正则匹配,什么库下的什么表,这里表示任何库下的任何表
##canal.instance.filter.regex=test\\..*
canal.mq.topic=example #发送到的topic ,topic名称
最后启动canal
/usr/local/canal/bin/startup.sh
去kafdrop查看,有topic,能看到消息,就成功了