canal+mysql binlog+kafka+es 实现数据同步和搜索

本文记录 elasticsearch 搜索和数据同步一种方案

通过对mysql的binlog监听，将数据库信息发送到kafka 然后通过kafka的topic的监听 同步到es库里

一 .安装canal 用于对mysql的binlog的监听

https://github.com/alibaba/canal/releases/tag/canal-1.1.7-alpha-2
![在这里插入图片描述](https://img-blog.csdnimg.cn/162145728b9244b4a1de5e74c54ded26.png)

1. 解压：tar zxvf canal.deployer-1.1.7-SNAPSHOT.tar.gz -C canal-1.1.7/

2. 修改配置文件 这里使用的是 canal ->kafka 修改 canal.serverMode = kafka
   修改canal.destinations为配置instance，默认是 example
   修改配置文件里面的kafka配置：
   kafka.bootstrap.servers = xxxxxxx:9092,xxxxxx:9092,xxxxxxx:9092
   kafka.acks = all
   kafka.compression.type = none
   kafka.batch.size = 16384
   kafka.linger.ms = 1
   kafka.max.request.size = 1048576
   kafka.buffer.memory = 33554432
   kafka.max.in.flight.requests.per.connection = 1
   kafka.retries = 0

   kafka.kerberos.enable = false
   kafka.kerberos.krb5.file = “…/conf/kerberos/krb5.conf”
   kafka.kerberos.jaas.file = “…/conf/kerberos/jaas.conf”
   保存

3. 配置监听的数据库
   由于上面instance 配置的是example vim /conf/example/instance.properties
   修改第一处为自己的mysql地址 ip：3306
   第二处 用户名和密码
   第三处 需要监听的表 可以去查看该值配置的表达式含义
   第四处 对应kafka的topic

如需配置多个canal.destinations 比如：一张表数据对应一个topic

1. canal.destinations = articles,user
2. 复制一份conf下面的example文件夹 修改里面配置
   

二. 启动kafka
kafka安装链接

三. 在springboot工程创建kafka监听程序 后续在写