47.功能 1：数据采集实现（Maxwell）

3.1 Maxwell 介绍

Maxwell 是由美国 zendesk 开源，用 java 编写的 Mysql 实时抓取软件， 其抓取的

原理也是基于 binlog。

3.2 Maxwell 和 canal 工具对比

➢

Maxwell 没有 canal 那种 server+client 模式，只有一个 server 把数据发送到消息队列

或 redis。如果需要多个实例，通过指定不同配置文件启动多个进程。

➢

Maxwell 有一个亮点功能，就是 canal 只能抓取最新数据，对已存在的历史数据没有办

法处理。而 Maxwell 有一个 bootstrap 功能，可以直接引导出完整的历史数据用于初

始化，非常好用。

➢

Maxwell 不能直接支持 HA，但是它支持断点还原，即错误解决后重启继续上次点儿读

取数据。

➢

Maxwell 只支持 json 格式，而 Canal 如果用 Server+client 模式的话，可以自定义格

式。

➢

Maxwell 比 Canal 更加轻量级。

3.3 安装 Maxwell

➢

将 2.资料\02-工具下的 maxwell-1.25.0.tar.gz 上传到/opt/software 目录下

➢

解压 maxwell-1.25.0.tar.gz 到/opt/module 目录

[atguigu@hadoop202 module]$ tar -zxvf /opt/software/maxwell-1.25.0.tar.gz -C /opt/module/

3.4 使用前准备工作

➢ 在数据库中建立一个 maxwell 库用于存储 Maxwell 的元数据

[atguigu@hadoop202 module]$ mysql -uroot -p123456

mysql> CREATE DATABASE maxwell ;

➢ 分配一个账号可以操作该数据库

mysql> GRANT ALL ON maxwell.* TO 'maxwell'@'%' IDENTIFIED BY '123456';

➢ 分配这个账号可以监控其他数据库的权限

mysql> GRANT SELECT ,REPLICATION SLAVE , REPLICATION CLIENT ON *.* TO maxwell@'%';

3.5 使用 Maxwell 监控抓取 MySQL 数据

➢ 拷贝配置文件

[atguigu@hadoop202 maxwell-1.25.0]$ cp config.properties.example config.properties

➢ 修改配置文件

 

注意：默认还是输出到指定 Kafka 主题的一个 kafka 分区，因为多个分区并行可能会打乱

binlog 的顺序

如果要提高并行度，首先设置 kafka 的分区数>1,然后设置 producer_partition_by 属性

可选值 producer_partition_by=database|table|primary_key|random| column
 

➢ 在/home/atguigu/bin 目录下编写 maxwell.sh 启动脚本

[atguigu@hadoop202 maxwell-1.25.0]$ vim /home/atguigu/bin/maxwell.sh

/opt/module/maxwell-1.25.0/bin/maxwell --config /opt/module/maxwell-1.25.0/config.properties >/dev/null 2>&1 &

➢ 授予执行权限

[atguigu@hadoop202 maxwell-1.25.0]$ sudo chmod +x /home/atguigu/bin/maxwell.sh

➢ 运行启动程序

[atguigu@hadoop202 maxwell-1.25.0]$ maxwell.sh

 

➢ 启动 Kafka 消费客户端，观察结果

[atguigu@hadoop202 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server

hadoop202:9092 --topic gmall2020_db_m

➢ 执行/opt/module/rt_dblog 下的 jar 生成模拟数据

 

3.6 Maxwell 版本的 ODS 层处理

3.6.1 执行不同操作，Maxwell 和 canal 数据格式对比

➢ 执行 insert 测试语句

INSERT INTO z_user_info VALUES(30,'zhang3','13810001010'),(31,'li4','1389999999');

 

 

➢ 执行 update 操作

UPDATE z_user_info SET user_name='wang55' WHERE id IN(30,31)

 

➢ delete 操作

DELETE FROM z_user_info WHERE id IN(30,31)

 

3.6.2 总结数据特点

➢ 日志结构

canal 每一条 SQL 会产生一条日志，如果该条 Sql 影响了多行数据，则已经会通过集

合的方式归集在这条日志中。（即使是一条数据也会是数组结构）

maxwell 以影响的数据为单位产生日志，即每影响一条数据就会产生一条日志。如果

想知道这些日志是否是通过某一条 sql 产生的可以通过 xid 进行判断，相同的 xid 的日志来

自同一 sql。

➢ 数字类型

当原始数据是数字类型时,maxwell 会尊重原始数据的类型不增加双引，变为字符串。

canal 一律转换为字符串。

➢ 带原始数据字段定义

canal 数据中会带入表结构。maxwell 更简洁。

3.6.3 SparkStreaming 对 Topic 分流业务代码

 

 

 

3.6.4 测试

➢

启动 Redis

➢

启动 Maxwell

➢

运行 BaseDBMaxwellApp 程序

➢

查看 kafka 下的主题

[atguigu@hadoop202 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server

hadoop202:9092 --topic ods_order_info

➢ 运行/opt/module/rt_dblog 模拟生成日志