离线数仓(3) maxwell的安装及其使用

maxwell同步增量数据

(1)概述

Maxwell 会实时监控Mysql数据库的数据变更操作（包括insert、update、delete），并将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。

Maxwell的工作原理是实时读取MySQL数据库的二进制日志（Binlog），从中获取变更数据，再将变更数据以JSON格式发送至Kafka等流处理平台。官网地址：http://maxwells-daemon.io/

字段	解释
database	变更数据所属的数据库
table	表更数据所属的表
type	数据变更类型
ts	数据变更发生的时间
xid	事务id
commit	事务提交标志，可用于重新组装事务
data	对于insert类型，表示插入的数据；对于update类型，标识修改之后的数据；对于delete类型，表示删除的数据
old	对于update类型，表示修改之前的数据，只包含变更字段

flink cdc参考:https://blog.csdn.net/qq_44665283/article/details/123674962?spm=1001.2014.3001.5501

(2)maxwell安装和使用

下载地址：https://github.com/zendesk/maxwell/releases/download/v1.29.2/maxwell-1.29.2.tar.gz

注：Maxwell-1.30.0及以上版本不再支持JDK1.8。

将安装包上传到server16节点的/opt/yyds/apps目录

将安装包解压至/opt/yyds/apps

[root@server16 apps]# tar -zxvf maxwell-1.29.2.tar.gz

注意：MySQL服务器的Binlog默认是未开启的，如需进行同步，需要先进行开启。

1）修改MySQL配置文件/etc/my.cnf

[root@server15 apps]# vim /etc/my.cnf

2）增加如下配置

[mysqld]

#数据库id
server-id = 1
#启动binlog，该参数的值会作为binlog的文件名
log-bin=mysql-bin
#binlog类型，maxwell要求为row类型
binlog_format=row
#启用binlog的数据库，需根据实际情况作出修改
binlog-do-db=gmall2022

重启Mysql服务

[root@server15 apps]# systemctl restart mysqld

Maxwell需要在MySQL中存储其运行过程中的所需的一些数据，包括binlog同步的断点位置（Maxwell支持断点续传）等等，故需要在MySQL为Maxwell创建数据库及用户。

-- 创建数据库
mysql> CREATE DATABASE maxwell;
Query OK, 1 row affected (0.00 sec)

-- 调整密码级别
mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=4;

-- 创建Maxwell用户并赋予其必要权限
mysql> CREATE USER 'maxwell'@'%' IDENTIFIED BY 'maxwell';
mysql> GRANT ALL ON maxwell.* TO 'maxwell'@'%';
mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

[root@server16 maxwell-1.29.2]# cp config.properties.example config.properties

-- 修改配置文件
[root@server16 maxwell-1.29.2]# vim config.properties
[atguigu@hadoop102 maxwell]$ vim config.properties

#Maxwell数据发送目的地，可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis
producer=kafka
#目标Kafka集群地址
kafka.bootstrap.servers=server15:9092,server16:9092,server17:9092
#目标Kafka topic，可静态配置，例如:maxwell，也可动态配置，例如：%{database}_%{table}
kafka_topic=maxwell

#MySQL相关配置
host=server15
user=maxwell
password=maxwell
jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai

-- 启动maxwell
[root@server16 ~]# /opt/yyds/apps/maxwell-1.29.2/bin/maxwell --config /opt/yyds/apps/maxwell-1.29.2/config.properties --daemon
Redirecting STDOUT to /opt/yyds/apps/maxwell-1.29.2/bin/../logs/MaxwellDaemon.out
-- 停止maxwell
[root@server16 ~]# ps -ef | grep maxwell | grep -v grep | grep maxwell | awk '{print $2}' | xargs kill



-- 创建kafka主题
/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/kafka/bin/kafka-topics.sh --create --replication-factor 2 --partitions 3 --zookeeper server15:2181 --topic maxwell

-- 展示kafka主题
/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/kafka/bin/kafka-topics.sh --list --zookeeper server15:2181


-- 启动kafka消费者
/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/kafka/bin/kafka-console-consumer.sh --bootstrap-server server16:9092 --topic maxwell --from-beginning

-- 插入数据
{
    "database":"gmall2022",
    "table":"base_trademark",
    "type":"insert",
    "ts":1650938288,
    "xid":14691,
    "commit":true,
    "data":{
        "id":12,
        "tm_name":"aaa",
        "logo_url":null
    }
}
-- 修改数据
{
    "database":"gmall2022",
    "table":"base_trademark",
    "type":"update",
    "ts":1650938351,
    "xid":15362,
    "commit":true,
    "data":{
        "id":12,
        "tm_name":"aaa",
        "logo_url":"bbb"
    },
    "old":{
        "logo_url":null
    }
}
-- 删除数据
{
    "database":"gmall2022",
    "table":"base_trademark",
    "type":"delete",
    "ts":1650938398,
    "xid":15814,
    "commit":true,
    "data":{
        "id":12,
        "tm_name":"aaa",
        "logo_url":"bbb"
    }
}

有时只有增量数据是不够的，我们可能需要使用到MySQL数据库中从历史至今的一个完整的数据集。这就需要我们在进行增量同步之前，先进行一次历史数据的全量同步。这样就能保证得到一个完整的数据集。

[root@server16 maxwell-1.29.2]# /opt/yyds/apps/maxwell-1.29.2/bin/maxwell-bootstrap --database gmall2022 --table user_info --config /opt/yyds/apps/maxwell-1.29.2/config.properties

{
    "database": "fooDB",
    "table": "barTable",
    "type": "bootstrap-start",
    "ts": 1450557744,
    "data": {}
}
{
    "database": "fooDB",
    "table": "barTable",
    "type": "bootstrap-insert",
    "ts": 1450557744,
    "data": {
        "txt": "hello"
    }
}
{
    "database": "fooDB",
    "table": "barTable",
    "type": "bootstrap-insert",
    "ts": 1450557744,
    "data": {
        "txt": "bootstrap!"
    }
}
{
    "database": "fooDB",
    "table": "barTable",
    "type": "bootstrap-complete",
    "ts": 1450557744,
    "data": {}
}

注意：

1）第一条type为bootstrap-start和最后一条type为bootstrap-complete的数据，是bootstrap开始和结束的标志，不包含数据，中间的type为bootstrap-insert的数据才包含数据。

2）一次bootstrap输出的所有记录的ts都相同，为bootstrap开始的时间。