CentOS7 部署 Maxwell

安装Maxwell

下载安装包

https://github.com/zendesk/maxwell/releases/download/v1.29.2/maxwell-1.29.2.tar.gz

Maxwell-1.30.0及以上版本不再支持JDK1.8

将安装包上传到 cpucdoe101 节点的 /opt/software 目录

该版本增加了自定义 Maxwell 输出数据中 ts 时间戳的参数

将安装包解压至 /opt/module

tar -zxvf maxwell-1.29.2-study.tar.gz -C /opt/module/

修改名称

mv maxwell-1.29.2/ maxwell-1.29.2-study/

配置MySQL

安装 Mysql :

https://blog.csdn.net/qq_44226094/article/details/123361850

启用 MySQL Binlog

MySQL服务器的 Binlog 默认是未开启的，如需进行同步，就先进行开启

修改 MySQL 配置文件 /etc/my.cnf

sudo vim /etc/my.cnf

增加如下配置

[mysqld] 下面

#数据库id
server-id = 1
#启动binlog，该参数的值会作为binlog的文件名
log-bin=mysql-bin
#binlog类型，maxwell 要求为 row 类型
binlog_format=row
#启用 binlog 的数据库，需根据实际情况作出修改
binlog-do-db=gmall

MySQL Binlog 模式

• Statement-based
• Row-based
• mixed

Statement-based：基于语句，Binlog 会记录所有写操作的 SQL 语句，包括 insert、update、delete

• 优点： 节省空间
• 缺点： 有可能造成数据不一致，如 : insert 语句中包含 now() 函数

Row-based：基于行，Binlog 会记录每次写操作后被操作行记录的变化

• 优点：保持数据的绝对一致性
• 缺点：占用较大空间

mixed：混合模式，默认是 Statement-based，如果 SQL 语句可能导致数据不一致，就自动切换到 Row-based

Maxwell 要求 Binlog 采用 Row-based 模式

重启 MySQL 服务

sudo systemctl restart mysqld

查看是否成功

show master status;

创建 Maxwell 所需数据库和用户

Maxwell 需要在 MySQL 中存储其运行过程中的所需的一些数据，包括 binlog 同步的断点位置（ Maxwell 支持断点续传）等等，所以在 MySQL为 Maxwell 创建数据库及用户

创建数据库

CREATE DATABASE maxwell;

调整 MySQL 数据库密码级别

set global validate_password_policy=0;

set global validate_password_length=4;

创建 Maxwell 用户并赋予其必要权限

CREATE USER 'maxwell'@'%' IDENTIFIED BY 'maxwell';

GRANT ALL ON maxwell.* TO 'maxwell'@'%';

GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

配置Maxwell

修改 Maxwell 配置文件名称

cp config.properties.example config.properties

修改 Maxwell 配置文件

vim config.properties

#Maxwell数据发送目的地，可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis
producer=kafka
#目标Kafka集群地址
kafka.bootstrap.servers=cpucode101:9092,cpucode102:9092,cpucode103:9092
#目标Kafka topic，可静态配置，例如:maxwell，也可动态配置，例如：%{database}_%{table}
kafka_topic=maxwell

#MySQL相关配置
host=cpucode102
user=maxwell
password=maxwell
jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai

Maxwell启停脚本

创建并编辑Maxwell启停脚本

vim mxw.sh

#!/bin/bash

MAXWELL_HOME=/opt/module/maxwell-1.29.2-study

status_maxwell(){
    result=`ps -ef | grep maxwell | grep -v grep | wc -l`
    return $result
}


start_maxwell(){
    status_maxwell
    if [[ $? -lt 1 ]]; then
        echo "启动Maxwell"
        $MAXWELL_HOME/bin/maxwell --config $MAXWELL_HOME/config.properties --daemon
    else
        echo "Maxwell正在运行"
    fi
}


stop_maxwell(){
    status_maxwell
    if [[ $? -gt 0 ]]; then
        echo "停止Maxwell"
        ps -ef | grep maxwell | grep -v grep | awk '{print $2}' | xargs kill
    else
        echo "Maxwell未在运行"
    fi
}


case $1 in
    start )
        start_maxwell
    ;;
    stop )
        stop_maxwell
    ;;
    restart )
       stop_maxwell
       start_maxwell
    ;;
esac

权限

chmod 777 mxw.sh