大数据技术Flink电商实时数仓-数据采集--第五章 业务数据库采集

5.1 Maxwell 介绍

Maxwell 是由美国 Zendesk 开源，用 Java 编写的 MySQL 实时抓取软件。 实时读取MySQL 二进制日志 Binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。

官网：http://maxwells-daemon.io/

5.2 Maxwell 的工作原理

5.2.1 MySQL主从复制过程

• Master 主库将改变记录，写到二进制日志(binary log)中；
• Slave 从库向 mysql master 发送 dump 协议，将 master 主库的 binary log events拷贝到它的中继日志(relay log)；
• Slave 从库读取并重做中继日志中的事件，将改变的数据同步到自己的数据库。

5.2.2 Maxwell 工作原理

很简单就是把自己伪装成slave，假装从master复制数据。

5.2.3 MySqlL 的binlog

（1）什么是binlog

MySQL 的二进制日志可以说 MySQL 最重要的日志了，它记录了所有的 DDL 和DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。

一般来说开启二进制日志大概会有 1%的性能损耗。二进制有两个最重要的使用场景:

• 其一：MySQL Replication 在 Master 端开启 binlog，Master 把它的二进制日志传递给 slaves 来达到 master-slave 数据一致的目的。
• 其二：自然就是数据恢复了，通过使用 mysqlbinlog 工具来使恢复数据。

二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的 DDL 和 DML(除了数据查询语句)语句事件。

（2）binlog 的开启

• 找到 MySQL 配置文件的位置
• Linux: /etc/my.cnf  如果/etc 目录下没有，可以通过 locate my.cnf 查找位置
• Windows: \my.ini
• 在 mysql 的配置文件下,修改配置：在[mysqld] 区块，设置/添加 log-bin=mysql-bin：这个表示 binlog 日志的前缀是 mysql-bin，以后生成的日志文件就是mysql-bin.123456 的文件后面的数字按顺序生成，每次 mysql 重启或者到达单个文件大小的阈值时，新生一个文件，按顺序编号。

（3）binlog 的分类设置

mysql binlog 的格式有三种，分别是 STATEMENT,MIXED,ROW，在配置文件中可以选择配置 binlog_format= statement|mixed|row。

三种格式的区别：

statement

语句级，binlog 会记录每次一执行写操作的语句。相对 row 模式节省空间，但是可能产生不一致性，比如update tt set create_date=now()如果用 binlog 日志进行恢复，由于执行时间不同可能产生的数据就不同。

优点： 节省空间

缺点： 有可能造成数据不一致。

row

行级， binlog 会记录每次操作后每行记录的变化。

优点：保持数据的绝对一致性。因为不管 sql 是什么，引用了什么函数，他只记录执行后的效果。

缺点：占用较大空间。

mixed

statement 的升级版，一定程度上解决了，因为一些情况而造成的 statement 模式不一致问题。

默认还是 statement，在某些情况下譬如：当函数中包含 UUID() 时；包含 AUTO_INCREMENT 字段的表被更新时；执行 INSERT DELAYED 语句时；用 UDF 时；会按照 ROW 的方式进行处理

优点：节省空间，同时兼顾了一定的一致性。

缺点：还有些极个别情况依旧会造成不一致，另外 statement 和 mixed 对于需要对 binlog 的监控的情况都不方便。

综合上面对比，Maxwell 想做监控分析，选择 row 格式比较合适

5.3.1 创建实时业务数据库

5.3.2 导入建表数据

 

5.3.3 修改/etc/my.cnf 文件

[atguigu@hadoop202 module]$ sudo vim /etc/my.cnf

server-id=1
log-bin=mysql-bin
binlog_format=row
binlog-do-db=gmall2021

注意：binlog-do-db 根据自己的情况进行修改，指定具体要同步的数据库

5.3.4 重启 MySQL 使配置生效

[root@hadoop103 etc]# service mysqld restart

到/var/lib/mysql 目录下查看初始文件大小 154

 

5.3.5 模拟生成数据

把 / 资 料 / 数 据 生 成 脚 本 / 业 务 数 据 里 面 的 jar 和 properties 文 件 上 传 到/opt/module/rt_dblog 目录下

修改 application.properties 中数据库连接信息

logging.level.root=info

spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://hadoop103:3306/gmall2021?characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8
spring.datasource.username=root
spring.datasource.password=123456

logging.pattern.console=%m%n

mybatis-plus.global-config.db-config.field-strategy=not_null

#业务日期
mock.date=2021-04-11

注意：如果生成较慢，可根据配置情况适当调整配置项

运行 jar 包

[atguigu@hadoop102 rt_dblog]$ java -jar gmall2020-mock-db-2020-11-27.jar

再次到到/var/lib/mysql 目录下，查看 index 文件的大小

5.4 安装Maxwell

• 将 maxwell-1.25.0.tar.gz 上传到/opt/software 目录下
• 解压 maxwell-1.25.0.tar.gz 到/opt/module 目录

[atguigu@hadoop103 module]$ tar -zxvf /opt/software/maxwell-1.25.0.tar.gz -C /opt/module/

5.5 初始化 Maxwell 元数据库

在 MySQL 中建立一个 maxwell 库用于存储 Maxwell 的元数据

[atguigu@hadoop103 module]$ mysql -uroot -p123456
mysql> CREATE DATABASE maxwell ;

设置安全级别

mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;

分配一个账号可以操作该数据库

mysql> GRANT ALL ON maxwell.* TO 'maxwell'@'%' IDENTIFIED BY '123456';

分配这个账号可以监控其他数据库的权限

mysql> GRANT SELECT ,REPLICATION SLAVE , REPLICATION CLIENT ON *.* TO maxwell@'%';

5.6 使用 Maxwell 监控抓取 MySQL 数据

拷贝配置文件

[atguigu@hadoop103 maxwell-1.25.0]$ cp config.properties.example config.properties

修改配置文件

producer=kafka
kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
#需要添加
kafka_topic=ods_base_db_m
# mysql login info
host=hadoop102
user=maxwell
password=123456
#需要添加 后续初始化会用
client_id=maxwell_1

注意：默认还是输出到指定 Kafka 主题的一个 kafka 分区，因为多个分区并行可能会打乱binlog 的顺序

如果要提高并行度，首先设置 kafka 的分区数>1,然后设置 producer_partition_by 属性可选值 producer_partition_by=database|table|primary_key|random| column

• 在/home/atguigu/bin 目录下编写 maxwell.sh 启动脚本

[hadoop@hadoop102 bin]$ pwd
/home/hadoop/bin
[hadoop@hadoop102 bin]$ vim maxwell.sh 
/opt/module/maxwell-1.19.4/bin/maxwell --config /opt/module/maxwell-1.19.4/config.properties >/dev/null  2>&1 &

• 授予执行权限

[hadoop@hadoop102 maxwell-1.25.0]$ sudo chmod +x /home/atguigu/bin/maxwell.sh

• 运行启动程序

[hadoop@hadoop102 ~]$ maxwell.sh 
[hadoop@hadoop102 ~]$ jps
2497 Kafka
5975 Maxwell
5996 Jps
1933 QuorumPeerMain
1710 UnixAuthenticationService

• 启动 Kafka 消费客户端，观察结果

[hadoop@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic ods_base_db_m

• 执行/opt/module/rt_dblog 下的 jar 生成模拟数据

[hadoop@hadoop102 rt_dblog]$ java -jar gmall2020-mock-db-2020-11-27.jar 

{"database":"gmall2021","table":"comment_info","type":"insert","ts":1621173661,"xid":27562,"xoffset":137942,"data":{"id":1393929484304904225,"user_id":1376,"nick_name":null,"head_img":null,"sku_id":29,"spu_id":10,"order_id":42091,"appraise":"1203","comment_txt":"评论内容：61165496169324243784373219672756761368456175891856","create_time":"2021-05-15 22:00:58","operate_time":null}}

maxwell 数据格式：

INSERT INTO z_user_info VALUES(30,'zhang3','13810001010'),(31,'li4','1389999999');

{"database":"gmall-2020- 04","table":"z_user_info"," type":"insert","ts":158938 5314,"xid":82982,"xoffset" :0,"data":{"id":30,"user_na me":"zhang3","tel":"1381 0001010"}}

{"database":"gmall-2020- 04","table":"z_user_info","type":"insert","ts":158938 5314,"xid":82982,"commit ":true,"data":{"id":31,"user _name":"li4","tel":"138999 9999"}}

UPDATE z_user_info SET user_name='wang55' WHERE id IN(30,31)

{"database":"gmall-2020-04" ,"table":"z_user_info","type":" update","ts":1589385508,"xi d":83206,"xoffset":0,"data":{" id":30,"user_name":"wang55 ","tel":"13810001010"},"old": {"user_name":"zhang3"}} {"database":"gmall-2020-04" ,"table":"z_user_info","type":" update","ts":1589385508,"xi d":83206,"commit":true,"data":{"id":31,"user_name":"wan g55","tel":"1389999999"},"ol d":{"user_name":"li4"}}

DELETE FROM z_user_info WHERE id IN(30,31)

{"database":"gmall-2020- 04","table":"z_user_info","t ype":"delete","ts":1589385 644,"xid":83367,"xoffset": 0,"data":{"id":30,"user_na me":"wang55","tel":"1381 0001010"}} {"database":"gmall-2020- 04","table":"z_user_info","t ype":"delete","ts":1589385 644,"xid":83367,"commit": true,"data":{"id":31,"user_ name":"wang55","tel":"1389999999"}}