MaxWell监控本地数据库/RDS数据库的配置与使用

MaxWell监控本地数据库/RDS数据库的配置与使用

背景：maxwell的核心原理是根据mysql的binlog，模拟mysql的从机，通过监控binlog的变化来进行数据的同步传输工作
步骤：maxwell监控指定目标的mysql数据库，写入数据到kafka/redis，通过传输工具进行同步更新数据

第一步 安装

# 备注 maxwell1.30不支持java8
# 下载 https://github.com/zendesk/maxwell/releases/download/v1.29.2/maxwell-1.29.2.tar.gz
# 解压，并改名
tar -zxvf maxwell-1.29.2.tar.gz -C /var
mv maxwell-1.29.2 maxwell

第二步 配置环境变量

vim /etc/profile.d/env.sh

# MAXWELL_HOME
export MAXWELL_HOME=/var/maxwell
export PATH=$PATH:$MAXWELL_HOME/bin

第二步 配置binlog

备注：Maxwell要求binlog采用Row-based模式

方式一 mysql数据库在物理机

# 修改MySQL配置文件/etc/my.cnf
sudo vim /etc/my.cnf
# 修改配置参数
[mysqld]
#数据库id
server-id = 1
#启动binlog，该参数的值会作为binlog的文件名
log-bin=mysql-bin
#binlog类型，maxwell要求为row类型
binlog_format=row
#启用binlog的数据库，需根据实际情况作出修改
binlog-do-db=test1

方式二 mysql数据库为阿里云RDS

阿里云的RDS默认自动开启binlog且为row模式，binlog相关无需进行额外配置

当前RDS配置信息：test数据库为所需监控的数据库，maxwell数据库为maxwell记录binlog的相关信息

• 在所需监控的数据库创建maxwell数据库，用户保存maxwell记录的binlog信息
• 所需监控数据库逻辑业务不变，再另外一台服务器上创建一个mysql的maxwell数据库，用于记录binlog信息
  

第四步 创建Maxwell所需数据库和用户

不论是监控本地还是监控RDS，都需要创建供maxwell写入的数据库

# Maxwell需要在MySQL中存储其运行过程中的所需的一些数据，包括binlog同步的断点位置（Maxwell支持断点续传）等等，故需要在MySQL为Maxwell创建数据库及用户
# 链接mysql
mysql -uroot -pxxx
# 创建数据库 
CREATE DATABASE maxwell;
# 创建用户
CREATE USER 'maxwell'@'%' IDENTIFIED BY 'maxwell.';
# 配置权限
GRANT ALL ON maxwell.* TO 'maxwell'@'%';

第五步 修改maxwell配置文件

方式一 监控本地数据库的配置方式

本地数据库指maxwell监控的数据库与写入的数据库在同一节点

cp MAXWELL_HOME/config.properties.example config.properties
vim MAXWELL_HOME/config.properties

# 修改配置内容
#Maxwell数据发送目的地，可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis
producer=kafka
#目标Kafka集群地址
kafka.bootstrap.servers=xxx:9092,xxx:9092
#目标Kafka topic，可静态配置，例如:maxwell，也可动态配置，例如：%{database}_%{table}
kafka_topic=%{table}

#MySQL相关配置
host=mysql地址
user=maxwell
password=maxwell
jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai

# 增量同步的表配置
# 根据同步策略，仅监控增量和变化的数据表
filter=include:test1.表1,include:test1.表2

方式二 监控RDS数据库的配置方式

####### kafka配置 #######
producer=kafka
kafka.bootstrap.servers=xx:9092,xx:9092
kafka_topic=%{table}
kafka.compression.type=snappy
kafka.retries=0
kafka.acks=1

####### maxwell配置 #######
host=maxwell数据库地址
user=maxwell
password=maxwell
port=3306
jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai

####### mysql数据库配置 #######
replication_host=RDS数据库地址
replication_user=RDS数据库的读取权限用户名
replication_password=RDS数据库的读取权限用户密码
replication_port=3306
jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai

第六步 maxwell启动脚本

#!/bin/bash
status_maxwell(){
    result=`ps -ef | grep maxwell | grep -v grep | wc -l`
    return $result
}


start_maxwell(){
    status_maxwell
    if [[ $? -lt 1 ]]; then
        echo "启动Maxwell"
        $MAXWELL_HOME/bin/maxwell --config $MAXWELL_HOME/config.properties --daemon
    else
        echo "Maxwell正在运行"
    fi
}


stop_maxwell(){
    status_maxwell
    if [[ $? -gt 0 ]]; then
        echo "停止Maxwell"
        ps -ef | grep maxwell | grep -v grep | awk '{print $2}' | xargs kill -9
    else
        echo "Maxwell未在运行"
    fi
}


case $1 in
    start )
        start_maxwell
    ;;
    stop )
        stop_maxwell
    ;;
    restart )
       stop_maxwell
       start_maxwell
    ;;
esac