maxwell同步mysql到es_使用Maxwell实时同步mysql数据

本文介绍了如何使用Maxwell作为MySQL从节点,实时读取binlog并以JSON格式将数据同步到RabbitMQ。首先,配置MySQL开启binlog,然后创建并授权用户,接着设置Maxwell的配置文件,包括数据库连接信息和RabbitMQ的配置。最后,启动Maxwell并观察RabbitMQ中数据的同步情况。
摘要由CSDN通过智能技术生成

接上一篇Mysql主从复制的搭建-基于Docker,本文介绍用Maxwell伪装成mysql从节点,接收binlog的使用。

Maxwell简介

maxwell是由java编写的守护进程,可以实时读取mysql binlog并将行更新以JSON格式写入kafka、rabbitMq、redis等中,  这样有了mysql增量数据流,使用场景就很多了,比如:实时同步数据到缓存,同步数据到ElasticSearch,数据迁移等等。

Maxwell的配置与使用

1.下载Maxwell安装包

root@xxx maxwell]# pwd

/usr/local/maxwell

[root@xxx maxwell]# wget https://github.com/zendesk/maxwell/releases/download/v1.19.5/maxwell-1.19.5.tar.gz

[root@xxx maxwell]# tar zxvf maxwell-1.19.5.tar.gz

[root@xxx maxwell]# cd maxwell-1.19.5

2.配置mysql,打开mysql binlog日志

[root@xxx mysql]# vi /usr/local/mysql/my.cnf

[mysqld]

log-bin=mysql-bin #添加这一行就

binlog-format=ROW #选择row模式

server_id=1 #随机指定一个不能和其他集群中机器重名的字符串,如果只有一台机器,那就可以随便指定了

重启mysql服务,登陆mysql,查

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值