mysql数据同步至elasticsearch简单练习(binlog+canal+kafka+docker+elasticsearch)

mysql同步es学习记录。操作系统是window。kafka+zookeeper、elasticsearch+kibana都是直接docker拉取使用

1. 配置mysql
windows是my.ini，linux是my.cnf。

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

canal是伪装成slave进行binlog读取同步的，所以还需要配置slave账户

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

2. 下载配置canal
canal的github地址为：https://github.com/alibaba/canal，这里用的1.1.4
版本：https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.deployer-1.1.4.tar.gz。
解压后修改 canal.deployer-1.1.4\conf\example\instance.properties

#数据库地址
canal.instance.master.address=127.0.0.1:3306
#数据库账户
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
#监听数据配置，规则如下
canal.instance.filter.regex=test.test

canal.instance.filter.regex的配置方式：
-. 所有表：.* or .\…
-. canal schema下所有表： canal\…*
-. canal下的以canal打头的表：canal\.canal.*
-. canal schema下的一张表：canal\.test1
-. 多个规则组合使用：canal\…*,mysql.test1,mysql.test2 (逗号分隔)

修改canal.deployer-1.1.4\conf\canal.properties

#修改MQ为kafka
canal.serverMode = kafka
#配置kafka地址
canal.mq.servers = 127.0.0.1:9092

启动 canal.deployer-1.1.4\bin\startup.bat
3. docker运行kafka和es
这里用的镜像是spotify/kafka和nshou/elasticsearch-kibana

#启动nshou/elasticsearch-kibana
docker run -d -p 9200:9200 -p 9300:9300 -p 5601:5601 --name eskibana  nshou/elasticsearch-kibana
#启动spotify/kafka
docker run -p 2181:2181 -p 9092:9092 --env ADVERTISED_HOST=127.0.0.1 --env ADVERTISED_PORT=9092 spotify/kafka 

4. 测试

		<dependency>
			<groupId>com.alibaba.otter</groupId>
			<artifactId>canal.client</artifactId>
			<version>1.1.4</version>
		</dependency>
		<dependency>
			<groupId>org.apache.kafka</groupId>
			<artifactId>kafka-clients</artifactId&g