SpringBoot整合Canal实现数据同步到ElasticSearch

本文介绍了如何使用SpringBoot结合Canal从MySQL开启BinLog日志,配置Canal和Canal-Admin,最终实现数据同步到ElasticSearch的过程。详细步骤包括MySQL的binlog配置、Canal的下载与启动、Canal-Admin的搭建以及SpringBoot项目的整合。
摘要由CSDN通过智能技术生成

Canal原理:

  1. canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议
  2. mysql master收到dump请求,开始推送binary log给slave(也就是canal)
  3. canal解析binary log对象(原始为byte流)

三、MySQL开启BinLog日志

注意: 由于不同环境,不同版本的MySQL可能存在差异,如果不能按下述方法开启binlog日志,那么就自行百度开启binlog步骤

3.1 检查MySQL是否有开启binlog日志

show variables like ‘log_bin’;

如果显示如下,则代表未开启binlog日志

image-20221212171723104

3.2开启binlog日志步骤

#1.编辑MySQL配置文件(linux下的修改命令)
vim /etc/my.cnf
#2.添加配置
[mysqld]
log-bin=mysql-bin # 开启binlog
binlog-format=ROW # 选择ROW模式
server_id=1 # 配置MySQL replaction需要定义,不和Canal的slaveId重复即可
#3.重启MySQL,再次使用下述命令查看是否开启binlog
show variables like ‘log_bin’;
show binary logs;
show variables like ‘binlog_format%’

windows环境下:

image-20221212172629039

image-20221212172943343

重启MySQL服务:

image-20221212173154311

再次使用命令查看是否已经开启binlog日志,ON代表已经成功开启

image-20221212173335612

**提示:**binlog文件的位置:如果在修改my.ini的binlog时给的是全路径,那么生成的日志文件就在指定的目录下;如果添加配置时只给一个名字,那么生成的binlog日志的位置为

image-20221213093731336

四、Canal的配置和启动

4.1 下载Canal

Canal的下载:

  • 官方文档:https://git
  • 8
    点赞
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值