大数据Maxwell（二）：使用Maxwell增量和全量同步MySQL数据

文章目录

使用Maxwell增量和全量同步MySQL数据

一、使用Maxwell同步MySQL数据

1、将下载好的安装包上传到node3并解压

2、在MySQL中创建Maxwell的用户及赋权

3、修改配置“config.properties”文件

4、启动zookeeper及Kafka,并监控Kafka maxwell_topic

5、启动Maxwell

6、向MySQL中增删改查写入数据

7、测试Maxwell断点续传

二、使用Maxwell Bootstrap全量同步MySQL数据

1、修改“/software/maxwell-1.28.2/config.properties”配置文件

2、在mysql中创建库“mysqldb2”,并插入数据

3、重新启动Maxwell,然后启动maxwell-bootstrap全量导数据

---

使用Maxwell增量和全量同步MySQL数据

一、使用Maxwell同步MySQL数据

首先下载Maxwell,Maxwell下载地址：

https://github.com/zendesk/maxwell/releases/tag/v1.28.2

现在版本1.30.0版本之上需要jdk11以上，建议下载1.30.0版本以下版本。下载完成后按照如下步骤进行配置，同步MySQL数据到Kafka，前提是MySQL需要开启Binlog日志，可以参考Canal章节设置。Maxwell不支持高可用搭建，但是支持断点还原，可以在执行失败时重新启动继续上次位置读取数据。