maxwell采集binlog发送kafka

部署mysql

docker run -d --name mysql --privileged=true -p 3306:3306 -e MYSQL_ROOT_PASSWORD=1234asdF++ -v /etc/mysql:/root/mysql  -v /etc/localtime:/etc/localtime mysql:latest

mysql启动好之后，需要更改一下配置，因为是容器启动的，需要进入mysql容器执行

#进入mysql容器
docker exec -it mysql bash

因为mysql容器默认没有安装vi vim等命令工具，这里直接用echo 追加文件内容方式

#开启binlog日志配置
echo "[mysqld]" >> /etc/mysql/my.cnf
echo "server_id=1"  >> /etc/mysql/my.cnf
echo "log_bin = mysql-bin"  >> /etc/mysql/my.cnf
echo "binlog_format = ROW"  >> /etc/mysql/my.cnf

上述配置更改完成之后，退出mysql容器，然后重启

连接到mysql,执行查询binlog配置是否生效

#查询是否开启binlog
show variables like 'log_bin';

#查询binlog文件详情
show master logs;

配置maxwell相关需求

创建maxwell所需的账密及权限

CREATE USER 'maxwell'@'%' IDENTIFIED BY 'maxwell';
GRANT ALL ON maxwell.* TO 'maxwell'@'%';
GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

部署kafka

echo "zookeeper is starting...."
docker run  --name zookeeper -p 2181:2181 \
--restart always \
-v /root/zookeeper/data:/data \
-v /root/zookeeper/datalog:/datalog  \
-v /root/zookeeper/conf/zoo.cfg:/conf/zoo.cfg \
-e JVMFLAGS="-Xmx256m" \
-d wurstmeister/zookeeper:latest


echo "kafka is starting...."
docker run -d --restart=always --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=1 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_HEAP_OPTS="-Xmx256M -Xms128M" \
-e KAFKA_ZOOKEEPER_CONNECT=zookeeper ip:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka ip.1:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
-v /etc/localtime:/etc/localtime \
-v /root/kafka/logs/kafka-logs:/kafka/kafka-logs \
-d wurstmeister/kafka:latest 

kafka启动完成之后，需要创建一个maxwell的topic给maxwell使用，因为maxwell不会主动创建topic

#创建一个1复制，5分片的topic
kafka-topics.sh  --create --zookeeper ip:2181 --replication-factor 1 --partitions 3--topic maxwell

部署maxwell

docker run -it -d --name maxwell --rm zendesk/maxwell bin/maxwell \
--user=maxwell --password=maxwell --host=mysql_ip --port=3306 --producer=kafka \
--kafka.bootstrap.servers=kafka_ip:9092 --kafka_topic=maxwell

启动完成之后，查看maxwell容器输出日志，如下图所述就说明启动成功了

#查看maxwell容器日志
docker logs -f maxwell

生成数据

编写一个脚本，每隔一秒写一条数据到test.maxwell表里

#进入mysql容器
docker exec -it mysql bash

验证采集结果

运行生成数据脚本之后，mysql的test.maxwell表里开始有数据持续写入了。。

现在验证一下kafka里面是否有数据

#进入mysql容器
docker exec -it mysql bash