Maxwell介绍与应用

一、Maxwell介绍

1、概述

Maxwell 是由美国Zendesk公司开源，用Java编写的MySQL变更数据抓取软件。它会实时监控MySQL数据库的数据变更操作（包括insert、update、delete），通过Maxwell将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。

This is Maxwell's daemon, a change data capture application that reads MySQL binlogs and writes data changes as JSON to Kafka, Kinesis, and other streaming platforms.

官网地址：Maxwell's Daemon/

github地址：https://github.com/zendesk/maxwell

2、特点

Maxwell 的特点包括：

实时数据捕获：Maxwell 可以实时地捕获数据库中的更改，包括插入、更新和删除操作。

支持多种数据库：它可以与多种关系型数据库系统（如 MySQL、PostgreSQL）集成。

JSON输出：Maxwell 通常以 JSON 格式输出变更数据，这种格式易于处理和解析。

可配置性：用户可以根据自己的需求配置 Maxwell，包括选择要捕获的表格、输出目标等。

高性能：Maxwell 经过优化，可以处理高吞吐量的数据流。

3、格式

案例一

官网首页案例

  mysql> update `test`.`maxwell` set mycol = 55, daemon = 'Stanislaw Lem';
  maxwell -> kafka: 
  {
    "database": "test",
    "table": "maxwell",
    "type": "insert",
    "ts": 1449786310,
    "data": { "id":1, "daemon": "Stanislaw Lem", "mycol": 55 },
    "old": { "mycol":, 23, "daemon": "what once was" }
  }

 

首先，执行了一条 MySQL 的 UPDATE 语句，用于更新名为 test 数据库中的 maxwell 表中的数据。它将 mycol 字段的值更改为 55，将 daemon 字段的值更改为 'Stanislaw Lem'。

maxwell -> kafka：这一行表示 Maxwell 捕获到了 MySQL 数据库中的更新操作，并将其传输到 Kafka 消息队列中。

JSON 数据块：以下是 JSON 格式的数据块，其中包含了关于更新操作的详细信息：

"database": "test"：这是更新操作所在的数据库名称，即 test。

"table": "maxwell"：这是更新操作所在的表格名称，即 maxwell。

"type": "update"：这指示 Maxwell 将此更新操作视为 UPDATE 类型，因为实际上是对表中的数据进行了更新。

"ts": 1449786310：这是时间戳，表示更新操作发生的时间。

"data"：这个部分包含了新的数据，包括 id、daemon 和 mycol 字段的新值，表示更新后的值。

"old"：这个部分包含了旧的数据，包括 mycol 和 daemon 字段的旧值，表示更新前的值。在示例中，mycol 字段的旧值为 23，daemon 字段的旧值为 'what once was'。

这个示例演示了一个 MySQL 数据库中的 UPDATE 操作，Maxwell 捕获了这个操作并将其转化为 JSON 格式的事件，然后将这些事件发送到 Kafka 消息队列，以供其他系统订阅和处理。

案例二

database	变更数据所属的数据库
table	表更数据所属的表
type	数据变更类型
ts	数据变更发生的时间
xid	事务id
commit	事务提交标志，可用于重新组装事务
data	对于insert类型，表示插入的数据；对于update类型，标识修改之后的数据；对于delete类型，表示删除的数据
old	对于update类型，表示修改之前的数据，只包含变更字段

二、Maxwell架构

Maxwell的工作原理是实时读取MySQL数据库的二进制日志（Binlog），从中获取变更数据，再将变更数据以JSON格式发送至Kafka等流处理平台。

1、MySQL二进制日志

二进制日志（Binlog）是MySQL服务端非常重要的一种日志，它会保存MySQL数据库的所有数据变更记录。Binlog的主要作用包括主从复制和数据恢复。Maxwell的工作原理和主从复制密切相关。

2、MySQL主从复制

MySQL的主从复制，就是用来建立一个和主数据库完全一样的数据库环境，这个数据库称为从数据库。

1）主从复制的应用场景如下

（1）做数据库的热备：主数据库服务器故障后，可切换到从数据库继续工作。

（2）读写分离：主数据库只负责业务数据的写入操作，而多个从数据库只负责业务数据的查询工作，在读多写少场景下，可以提高数据库工作效率。

2）主从复制的工作原理如下

（1）Master主库将数据变更记录，写到二进制日志（binary log）中

（2）Slave从库向mysql master发送dump协议，将master主库的binary log events拷贝到它的中继日志（relay log）

（3）Slave从库读取并回放中继日志中的事件，将改变的数据同步到自己的数据库

3、Maxwell原理

将自己伪装成slave，并遵循MySQL主从复制的协议，从master同步数据。

数据库 Binlog 解析：Maxwell 通过订阅数据库的二进制日志（Binlog）来实时监控数据库中的变更。Binlog 是数据库引擎记录数据库操作的详细日志，包括插入、更新和删除等操作。

数据解析：一旦 Maxwell 连接到数据库的 Binlog，它开始解析 Binlog 中的数据变更事件。Maxwell 能够解析这些事件并将其转化为易于理解和处理的数据格式。

数据重构：Maxwell 将解析后的数据重构为 JSON 格式或其他结构化数据格式，以便后续系统可以轻松处理和消费这些数据。

数据发布：捕获的数据变更事件被发送到一个消息队列（通常是 Kafka），以实现异步和实时的数据传输。将数据发送到消息队列允许其他系统根据需要消费数据，而不会对原始数据库产生太多负载。

事件处理：一旦数据变更事件被发送到消息队列，其他系统可以订阅这些事件并处理它们。这些系统可以是数据仓库、实时分析系统、缓存系统、搜索引擎或其他需要实时数据的应用程序。

可配置性：Maxwell 具有丰富的配置选项，允许用户指定要捕获的数据库、表格、字段，以及如何处理捕获的事件。

三、Maxwell安装

1、下载安装包

地址：https://github.com/zendesk/maxwell/releases/download/v1.29.2/maxwell-1.29.2.tar.gz

注：Maxwell-1.30.0及以上版本不再支持JDK1.8。

将maxwell-1.29.2.tar.gz上传到Linux的/usr/local/soft/路径下

2、解压软件

cd /usr/local/soft/
tar -zxvf maxwell-1.29.2.tar.gz

3、修改/etc/my.cnf文件

添加如下内容

#数据库id
server-id = 1
#启动binlog，该参数的值会作为binlog的文件名
log-bin=mysql-bin
#binlog类型，maxwell要求为row类型
binlog_format=row
#启用binlog的数据库，需根据实际情况作出修改
binlog-do-db=soft863db

MySQL服务器的Binlog默认是未开启的，如需进行同步，需要先进行开启。

MySQL Binlog模式

Statement-based：基于语句，Binlog会记录所有写操作的SQL语句，包括insert、update、delete等。

优点：节省空间

缺点：有可能造成数据不一致，例如insert语句中包含now()函数。

Row-based：基于行，Binlog会记录每次写操作后被操作行记录的变化。

优点：保持数据的绝对一致性。

缺点：占用较大空间。

mixed：混合模式，默认是Statement-based，如果SQL语句可能导致数据不一致，就自动切换到Row-based。

Maxwell要求Binlog采用Row-based模式。

重启mysql数据库

systemctl restart mysqld

4、创建Maxwell所需数据库和用户

Maxwell需要在MySQL中存储其运行过程中的所需的一些数据，包括binlog同步的断点位置（Maxwell支持断点续传）等，故需要在MySQL为Maxwell创建数据库及用户。

1）创建数据库

CREATE DATABASE maxwell;

2）设置密码复杂度

set global validate_password.length=4;
set global validate_password.policy=0;

3）创建Maxwell用户并赋予其必要权限

CREATE USER 'maxwell'@'%' IDENTIFIED BY 'maxwell';
GRANT ALL ON maxwell.* TO 'maxwell'@'%';
GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

5、修改maxwell配置文件

cd /usr/local/soft/maxwell-1.29.2
cp config.properties.example config.properties

config.properties内容如下

#Maxwell数据发送目的地，可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis
producer=kafka
# 目标Kafka集群地址
kafka.bootstrap.servers=node11:9092,node12:9092,node13:9092

#目标Kafka topic，可静态配置，例如:maxwell，也可动态配置，例如：%{database}_%{table}
kafka_topic=topic_db
# MySQL相关配置
host=master
user=maxwell
password=maxwell
jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
# 指定数据按照主键分组进入Kafka不同分区，避免数据倾斜
producer_partition_by=primary_key

6、添加系统环境变量

vi /etc/profile

添加如下内容

export MAXWELL_HOME=/usr/local/soft/maxwell-1.29.2
export PATH=$PATH:$MAXWELL_HOME/bin

 使环境变量生效

source /etc/profile

6、启动与停止

启动

cd /usr/local/soft/maxwell-1.29.2/
maxwell --config /usr/local/soft/maxwell-1.29.2/config.properties --daemon

停止

ps -ef | grep com.zendesk.maxwell.Maxwell | grep -v grep | awk '{print $2}' | xargs kill -9

7、创建启停脚本

（1）创建并编辑Maxwell启停脚本

cd /usr/local/soft/maxwell-1.29.2/bin/
vim mxw.sh

（2）脚本内容如下

#!/bin/bash
​
MAXWELL_HOME=/usr/local/soft/maxwell-1.29.2/bin/
​
status_maxwell(){
  result=`ps -ef | grep com.zendesk.maxwell.Maxwell | grep -v grep | wc -l`
  return $result
}
​
 
start_maxwell(){
  status_maxwell
  if [[ $? -lt 1 ]]; then
    echo "启动Maxwell"
    $MAXWELL_HOME/bin/maxwell --config $MAXWELL_HOME/config.properties --daemon
  else
    echo "Maxwell正在运行"
  fi
}
​
 
stop_maxwell(){
  status_maxwell
  if [[ $? -gt 0 ]]; then
    echo "停止Maxwell"
    ps -ef | grep com.zendesk.maxwell.Maxwell | grep -v grep | awk '{print $2}' | xargs kill -9
  else
    echo "Maxwell未在运行"
  fi
}
​
case $1 in
  start )
    start_maxwell
  ;;
  stop )
    stop_maxwell
  ;;
  restart )
    stop_maxwell
    start_maxwell
  ;;
esac

保存退出

（3）赋予权限

chmod 777 mxw.sh

（4）启动Maxwell

mxw.sh start

（5）停止Maxwell

mxw.sh stop

四、Maxwell应用

1、启动kafka集群

创建名为topic_db的主题

启动消费者监控主题

kafka-console-consumer.sh --bootstrap-server master:9092 --topic topic_db

2、启动Maxwell

3、向数据库中添加数据

数据库名：soft863db

表明：user

字段：uno，uname,uage

4、查看效果（kafka消费者）

{"database":"soft863db","table":"user","type":"insert","ts":1718611592,"xid":1312,"commit":true,"data":{"uno":1003,"uname":"王五","uage":21}}

5、Maxwell全量同步

cd /usr/local/soft/maxwell-1.29.2
maxwell-bootstrap --database soft863db --table user --config config.properties