Maxwell系列：Maxwell采集Mysql到Kafka

目录

Apache Hadoop生态-目录汇总-持续更新

1：直接命令行启动(开发环境使用)

1.1：创建topic（可忽略，默认会自动创建）

1.2：命令行方式启动maxwell采集通道

1.3：测试流程

 2：通过配置文件启动maxwell(生产环境使用)

2.1：kafka的分区控制

2.2：启动maxwell采集通道 

 2.3：测试流程

---

Apache Hadoop生态-目录汇总-持续更新

系统环境：centos7

Java环境：Java8

1：直接命令行启动(开发环境使用)

1.1：创建topic（可忽略，默认会自动创建）

如果kafka的topic不存在，会自动创建单并行度topic

手动创建topic命令

kafka-topics.sh --zookeeper node100:2181/kafka --create --replication-factor 1 --partitions 1 --topic test_topic_db

查看topic

kafka-topics.sh --zookeeper node100:2181/kafka --list

1.2：命令行方式启动maxwell采集通道

cd /usr/local/maxwell-1.29.2
[root@node01 maxwell-1.29.2]# bin/maxwell --user='maxwell' --password='pw_maxwell' --host='192.168.1.100'  --producer=kafka --kafka.bootstrap.servers=192.168.1.100:9092 --k