mysql日志cdc实现_简单理解什么是数据库CDC?(以mysql为例)

本文介绍了数据库CDC(变化数据捕捉)的基本概念,并详细阐述了如何在MySQL中配置基于日志的CDC,包括检查和开启Binary Log,调整相关参数,以及创建具有适当权限的数据库用户。
摘要由CSDN通过智能技术生成

一、数据库CDC是什么

CDC 是change data capture,即变化数据捕捉。是数据库进行备份的一种方式,常用于大量数据的备份工作。分为入侵式的和非入侵式的备份方法,入侵式的有基于触发器备份、基于时间戳备份、基于快照备份,非入侵式的备份方法是基于日志的备份。mysql 基于日志的CDC就是要开启mysql binary log。

二、Mysql基于日志的CDC配置

1、查看mysql是否开启Binlog

show variables like 'log_bin';

若变量log_bin的值为“OFF”,则说明Binlog未开启,继续执行下一步。

若变量log_bin的值为“ON”,则说明Binlog已开启,继续执行以下SQL命令,检查相关参数的配置是否符合要求。

show variables like '%binlog_format%';

show variables like '%binlog_row_image%';

变量binlog_format的值应该为“ROW”,变量binlog_row_image的值应该为“FULL”。

2、执行以下命令编辑MySQL配置文件,然后按“i”进入输入模式。

vi /etc/my.cnf

在配置文件中增加如下配置,开启Binlog。

server-id = 123

log_bin = mysql-bin

binlog_format = row

binlog_row_image = full

expire_logs_days = 10

gtid_mode = on

enforce_gtid_consistency = on

其中:

server-id的值应为大于1的整数,请根据实际规划设置,并且在创建数据集成任务时设置的“Server Id”值需要此处设置的值不同。

expire_logs_days为Binlog日志文件保留时间,超过保留时间的Binlog日志会被自动删除,应保留至少2天的日志文件。

“gtid_mode = on”和“enforce_gtid_consistency = on”仅当MySQL的版本大于等于5.6.5时才需要添加,否则删除这两行内容。

按“Esc”退出输入模式,然后输入“:wq”并回车,保存退出。

执行以下命令重启MySQL数据库。

service mysqld restart

以root用户登录数据库,执行以下命令,查询变量log_bin的值是否为“ON”,即是否已开启Binlog。

show variables like 'log_bin';

3、在数据库中执行以下命令创建ROMA连接数据库的用户并配置权限。

CREATE USER 'roma'@'%' IDENTIFIED BY 'password';

GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'roma'@'%';

其中:

roma为ROMA连接用户名,请根据实际规划设置。

password为ROMA连接用户密码,请根据实际规划设置。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值