MySQL Binlog 解析工具 Maxwell 详解

Maxwell是一个能实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指标、增量到搜索引擎、数据分区迁移、切库binlog回滚方案等。官网(http://maxwells-daemon.io)、GitHub(https://github.com/zendesk/maxwell)

Maxwell主要提供了下列功能：

  1.支持 SELECT * FROM table 的方式进行全量数据初始化
  2.支持在主库发生failover后，自动恢复binlog位置(GTID)
  3.可以对数据进行分区，解决数据倾斜问题，发送到kafka的数据支持database、table、column等级别的数据分区
  4.工作方式是伪装为Slave，接收binlog events，然后根据schemas信息拼装，可以接受ddl、xid、row等各种event
  

快速开始

一、MySQL需要先启用binlog

server_id=1

log-bin=master

binlog_format=row

二、重启mysql

sudo service mysqld restart

三、查看是否生效

Mysql>show variables like '%log_bin%';

此时，可以在目录/var/lib/mysql下看到生成了相应的binlog监听日志文件，如图，master.000001文件，每次重启msyql服务，就会生成一个新的监听文件

四、下载安装maxwell

wget https://github.com/zendesk/maxwell/releases/download/v1.10.7/maxwell-1.10.7.tar.gz 

tar-zxf maxwell-1.10.6.tar.gz  -C    ../modules/

五、给mysql授权

GRANT ALL on *.* to 'user01'@'%' identified by '123456';  #把所有数据库的所有表授权给user01用户以密码123456登录

GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'user01'@'%';

flush   privileges;

六、开启maxwell命令行（注意，如果没有设置，maxwell默认是把监听的mysql的binlog日志发送到kafka的主题叫maxwell的topic上的）

bin/maxwell --user='user01' --password='123456'--host='192.168.136.129' --producer=kafka --kafka.bootstrap.servers=mw:9092解释：host参数是安装mysql的那台主机，最后的kafka.bootstrap.servers是安装kafka集群的节点主机名和端口号

如果需要修改topic，加上：

 --kafka_topic=maxwell --kafka_version=0.10.2.1

七、启动zookeeper，kafka

nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

nohup bin/kafka-server-start.sh config/server.properties &

测试kafka

# 创建一个 topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

# 列出所有 topic
bin/kafka-topics.sh --list --zookeeper localhost:2181

# 启动一个生产者，然后随意发送一些消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

# 在另一个终端启动一下消费者，观察所消费的消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message
 

八、操作

创建maxwell的topic

bin/kafka-topics.sh--create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic maxwell

启动生产者

bin/kafka-console-producer.sh--broker-list localhost:9092 --topic maxwell

启动消费者

bin/kafka-console-consumer.sh--zookeeper localhost:2181 --topic maxwell --from-beginning

九、修改mysql数据