mysql配置开启cdc模式(binlog)

本文适用于mysql 5.7及以上版本

1,创建同步数据的用户

依次执行下面三条命令(用户名和密码需要替换成具体的值):

CREATE USER '用户名'@'%' IDENTIFIED BY '密码';

GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO '用户名' IDENTIFIED BY '密码';

FLUSH PRIVILEGES;

2,查询MySQL服务是否开启了Binlog

执行命令:

SHOW VARIABLES WHERE variable_name IN ( 'log_bin', 'binlog_format', 'binlog_row_image', 'gtid_mode', 'enforce_gtid_consistency' );

下图是开启Binlog服务查询出的结果,如果查询结果和下图不同,需要开启Binlog服务。

在这里插入图片描述

3,修改mysql目录下的*.conf配置文件

增加配置项:

#set bin_log
# 开启bin-log,产生的bin-log文件名即为bin-log.*
log_bin=mysql-bin

# 选择row(行)模式,其他两种是statement、mixed
binlog_format=row

# 配置MySQL replaction,大于1的整数
server_id=1

#过期2天删除
expire_logs_days=2

#单个binlog文件的大小,最大和默认值是1GB
max_binlog_size=100MB

gtid_mode = on
enforce_gtid_consistency = on
binlog_row_image = FULL

4,重启mysql服务

然后再次执行步骤2确认开启状态。

Flink CDC 是一个用于从MySQL binlog中获取数据变动的工具。通过引入Flink CDC的jar包,并编写一个main方法,我们可以实现从指定位置拉取消息的功能。具体而言,可以使用.startupOptions(StartupOptions.specificOffset("mysql-bin.000013", 1260))这句代码来指定binlog日志的位置开始读取数据。 需要注意的是,Flink CDC 1.4.0版本支持使用specificOffset方式指定binlog日志的位置开始读取数据,而新版本测试还未支持该功能。 Java是一种全球排名第一的编程语言,在大数据平台中广泛使用,主要包括Hadoop、Spark、Flink等工具,这些工具都是使用Java或Scala开发的。因此,使用Java编写Flink CDC的代码可以很好地与大数据生态系统进行集成,实现对MySQL binlog的获取。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [FlinkCdcMysql指定的binlog日志offsetPos位置开始读取数据](https://blog.csdn.net/shy_snow/article/details/122879590)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [Java + 数组 + 初始化](https://download.csdn.net/download/weixin_51202460/88254379)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值