Maxwell是一个能实时读取MySQL二进制日志binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指标、增量到搜索引擎、数据分区迁移、切库binlog回滚方案等。官网(http://maxwells-daemon.io)、GitHub(https://github.com/zendesk/maxwell)
Maxwell主要提供了下列功能:
1.支持 SELECT * FROM table 的方式进行全量数据初始化
2.支持在主库发生failover后,自动恢复binlog位置(GTID)
3.可以对数据进行分区,解决数据倾斜问题,发送到kafka的数据支持database、table、column等级别的数据分区
4.工作方式是伪装为Slave,接收binlog events,然后根据schemas信息拼装,可以接受ddl、xid、row等各种event
快速开始
一、MySQL需要先启用binlog
server_id=1
log-bin=master
binlog_format=row
二、重启mysql
sudo service mysqld restart
三、查看是否生效
Mysql>show variables like '%log_bin%';
此时,可以在目录/var/lib/mysql下看到生成了相应的binlog监听日志文件,如图,master.000001文件,每次重启msyql服务,就会生成一个新的监听文件
四、下载安装maxwell
wget https://github.com/zendesk/maxwell/releases/download/v1.10.7/maxwell-1.10.7.tar.gz
tar-zxf maxwell-1.10.6.tar.gz -C ../modules/
五、给mysql授权
GRANT ALL on *.* to 'user01'@'%' identified by '123456'; #把所有数据库的所有表授权给user01用户以密码123456登录
GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'user01'@'%';
flush privileges;
六、开启maxwell命令行(注意,如果没有设置,maxwell默认是把监听的mysql的binlog日志发送到kafka的主题叫maxwell的topic上的)
bin/maxwell --user='user01' --password='123456'--host='192.168.136.129' --producer=kafka --kafka.bootstrap.servers=mw:9092解释:host参数是安装mysql的那台主机,最后的kafka.bootstrap.servers是安装kafka集群的节点主机名和端口号
如果需要修改topic,加上:
--kafka_topic=maxwell --kafka_version=0.10.2.1
七、启动zookeeper,kafka
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
nohup bin/kafka-server-start.sh config/server.properties &
测试kafka
# 创建一个 topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
# 列出所有 topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
# 启动一个生产者,然后随意发送一些消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message
# 在另一个终端启动一下消费者,观察所消费的消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message
八、操作
创建maxwell的topic
bin/kafka-topics.sh--create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic maxwell
启动生产者
bin/kafka-console-producer.sh--broker-list localhost:9092 --topic maxwell
启动消费者
bin/kafka-console-consumer.sh--zookeeper localhost:2181 --topic maxwell --from-beginning
九、修改mysql数据