Maxwell采集MySQL的binlog日志

不甘平钒

已于 2023-12-28 10:53:59 修改

阅读量601

点赞数 1

分类专栏：大数据组件文章标签： mysql 数据库 linux 服务器

于 2023-04-29 13:25:27 首次发布

本文链接：https://blog.csdn.net/m0_70673163/article/details/130439845

版权

2 篇文章 0 订阅

订阅专栏

本文介绍了如何在Linux环境中准备MySQL环境，启用binlog，初始化Maxwell元数据库，并通过命令行或配置文件启动Maxwell进程来监控MySQL数据库的变化。此外，还提到了如何指定监控特定表以及将数据输出到Kafka多分区的配置方法。

摘要由CSDN通过智能技术生成

提示：本文是在Linux上的操作

提示：以下是本篇文章正文内容，下面案例可供参考

修改 mysql 的配置文件，开启 MySQL Binlog 设置

vim /etc/my.cnf

在[mysqld]模块下添加一下内容

[mysqld]
server_id=1
log-bin=mysql-bin
binlog_format=row
#binlog-do-db=test_maxwell[不填，监测全库]

重启 Mysql 服务

systemctl restart mariadb

进入 mysql 查看 mysql 生成的 binlog 文件

show master status;

在 MySQL 中建立一个 maxwell 库用于存储 Maxwell 的元数据

CREATE DATABASE maxwell;

命令行启动：

bin/maxwell --user='maxwell' --password='123456' --host='192.168.168.201' --
producer=stdout

配置文件启动：

bin/maxwell --config ./config.properties

maxwell监控指定表(也可更改config.properties文件启动)

./bin/maxwell --user='maxwell' --password='123456' --host='192.168.168.201' --
filter 'exclude:*.*,include:库名.表名' --producer=stdout

maxwell写入kafka多分区要改config.properties文件以下两个位置

kafka_topic=...
producer_partition_by=...

maxwell 监控 mysql 指定表数据全量输出步骤：

首先修改maxwell元数据，在mysql中输入

insert into maxwell.bootstrap(database_name,table_name) values('库名','表名');

关注

专栏目录