FLink-CDC部署(S2:mysql复制配置)

本文介绍了如何配置MySQL(mariadb 10.5.5)以启用二进制日志,供Apache Flink的Change Data Capture (CDC)功能使用。主要内容包括设置server-id,log-bin,binlog-format,max_binlog_size,expire_logs_days,创建具有适当权限的用户,以及验证配置。同时,还提醒在使用Flink CDC时需提供MySQL连接参数,并确保同步的表有主键。
摘要由CSDN通过智能技术生成

配置mysql的复制

注:这里mysql的版本是mariadb:10.5.5-MariaDB

为了使用 Apache Flink 的 Change Data Capture (CDC) 功能从 MySQL 同步数据,MySQL 需要做如下配置以启用并输出 binlog(二进制日志),因为 Flink CDC 通常是通过监听 MySQL 的 binlog 来捕获数据库的增量变化:
1、启用二进制日志 (Binary Log)

  • 修改 MySQL 的配置文件(通常位于 /etc/my.cnf 或 my.ini),添加或确认下列配置项:
    [mysqld]
    server-id = 1 # 设置一个唯一的服务器ID,用于复制和CDC
    log-bin=mysql-bin # 开启二进制日志,并设置日志文件前缀
    binlog-format=row # 使用 ROW 格式,以便记录每行数据的更改
    max_binlog_size=50M #每个日志大小50M
    expire_logs_days=1 #只保留一天的日志,以免占用太多空间

  • 重启 MySQL 服务以应用这些配置更改。

2、用户权限设置

  • 创建一个具有足够权限的用户,使其能够读取 binlog:

create user ‘cdc_user’@‘%’ IDENTIFIED BY ‘cdc_passwordxxx’;
GRANT REPLICATION SLAVE, SUPER ON . TO ‘cdc_user’@‘%’ IDENTIFIED BY ‘cdc_passwordxxx’

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wengad

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值