Debezium同步mysql数据

已于 2022-03-08 16:02:49 修改
阅读量3.6k 收藏
点赞数
分类专栏： 大数据之Kafka 文章标签： mysql kafka 数据库
于 2022-03-08 16:01:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011110301/article/details/123355770
版权
本文档详细介绍了如何配置和验证Debezium组件，以实现在MySQL与Kafka之间的数据同步。步骤包括设置MySQL的binlog，配置Kafka，启动连接器，配置和启动Debezium，以及通过插入、删除和更新MySQL数据来测试数据同步。
摘要由CSDN通过智能技术生成

1.1    简介


为实现数据同步功能，进行debezium组件验证，编写此说明。

1.2    目标读者


使用数据同步组件相关人员，技术选型人员。

3.1    组件版本

（版本可换，保证kafka、mysql能用即可）
Kafka：2.2.1+cdh6.3.2
Zookeeper:3.4.5+cdh6.3.2
MySql(MariaDB版本)
Debezium：1.5.0

3.2 组件使用

MySQL安装在10.22.82.123节点，需开启binlog。

登录命令：mysql -uroot -p123456
账号：root
密码：123456
如果是maridb mysql，可能会用到命令：
sudo systemctl status mariadb
sudo systemctl restart mariadb
ps -ef | grep mariadb

3.3Kafka


查看已创建的kafka的topic
/opt/cloudera/parcels/CDH/bin/kafka-topics --zookeeper node01:2181 --list

创建topic
/opt/cloudera/parcels/CDH/bin/kafka-topics --zookeeper node01:2181,node02:2181,node03:2181 --create --replication-factor 1 --partitions 1 --topic test001
生产者
/opt/cloudera/parcels/CDH/bin/kafka

最低0.47元/天 解锁文章
大数据架构师Pony
关注
专栏目录
Debezium系列之：debezium同步mysql数据库数据到kafka集群
zhengzaifeidelushang的博客
07-27 902
debezium同步mysql数据库数据到kafka集群 一、修改connect-distributed.sh配置 #!/bin/bash #打开JMX监控 export JMX_PORT=9010 #JVM参数配置优化 export KAFKA_HEAP_OPTS="-Djava.security.auth.login.config=/moudle/debezium/kafka_2.13-2.7.0/config/connect-jaas.conf -Xms28G -Xmx28G -XX:NewSiz
Debezium同步之MySQL同步原理
Auspicious航的博客
10-20 1385
启动MySQL CDC源时，它将获取一个全局读取锁（FLUSH TABLES WITH READ LOCK），该锁将阻止其他数据库的写入。然后，它读取当前binlog位置以及数据库和表的schema。之后，将释放 全局读取锁。然后，它扫描数据库表并从先前记录的位置读取binlog。Flink将定期执行checkpoints以记录binlog位置。如果发生故障，作业将重新启动并从checkpoint完成的binlog位置恢复。因此，它保证了仅一次的语义。
mysql 递增_干货 | Debezium实现Mysql到Elasticsearch高效实时同步
weixin_39992462的博客
12-05 255
题记来自Elasticsearch中文社区的问题——MySQL中表无唯一递增字段，也无唯一递增时间字段，该怎么使用logstash实现MySQL实时增量导数据到es中？logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。回到问题本身：如果库表里没有相关字段，该如何处理呢？本文给出相关探讨和解决方案。1、 binlog认知1.1 啥是 bi...
Debezium数据同步基础概论
hello.reader
09-12 2144
在当今的分布式系统和现代企业架构中，数据的生成和存储已经变得高度分散。不同的系统、服务和应用程序可能都在各自的数据库中记录数据。这种环境下，保持数据的一致性和实时同步变得尤为复杂。特别是在需要对多个系统中的数据进行整合时，数据捕获和同步的挑战就更加突出。延迟：批量处理通常定时执行，导致无法提供实时数据更新。对于实时分析、事件驱动的应用，延迟会影响用户体验和业务决策的精准性。一致性：分布式系统中的数据可能存在并发修改的情况，导致数据一致性难以保证。传统的同步方式可能导致数据丢失、覆盖或者重复的问题。
Java/scala使用内置嵌入式embedded debezium全量和增量同步Mysql binlog数据
Bulut0907
07-25 4641
目录1. 背景2. 添加依赖3. 同步代码 1. 背景 Debezium通常基于Kafka启动一个Kafka Connect服务，之后可以向Debezium提交Mysql、PostgresSQL等connector任务进行同步数据，数据被保存到Kafka中。分布式的Kafka Connect服务能提供容错性和可拓展性 但是我们有时不想部署一套Kafka集群和Debezium的Kafka Connect服务。而是通过一种更轻量级的方式，将Debezium的Mysql、PostgresSQL等connector
Debezium同步MySQL实时数据并解决数据重复消费问题
zhugedali_的博客
06-29 282
这意味着对于相同的数据输入，多次处理的结果应该是相同的，不会产生副作用。确保在成功处理数据后，正确更新偏移量，以避免重复消费已经处理过的数据段。总之，解决 Debezium 同步 MySQL 实时数据中的重复消费问题需要综合考虑上述策略，并根据实际的业务场景和系统架构进行优化和调整。在消费时，通过维护一个已处理数据的标识符集合，来判断新接收到的数据是否已经处理过，从而进行去重。- 在处理关键数据时，可以使用分布式锁来保证同一时间只有一个消费者实例在处理特定的数据，避免并发处理导致的重复问题。
Debezium2.7 数据同步 MySQL/Oracle -- AI生成
zhua.er的博客
08-22 1126
Debezium是Red Hat开源的一个工具，用于实时捕获多种数据源（包括MySQL、PostgreSQL、SQL Server、Oracle等）的变更数据，并将这些数据作为事件流输出到Kafka等消息中间件中。通过Debezium，可以实现数据的实时同步和变更数据捕获（CDC）。
Debezium同步之MySQL数据到Kafka的同步
Auspicious航的博客
04-13 1931
目录 一、概述 1.1连接器的工作原理 二、设置 MySQL 2.1 创建用户 2.2 启用二进制日志 2.3 启用 GTID 2.4 配置会话超时 2.5 启用查询日志事件 三、部署 3.1 MySQL 连接器配置示例 3.2 添加连接器配置 一、概述 MySQL 有一个二进制日志（binlog），它按照提交到数据库的顺序记录所有操作。这包括对表模式的更改以及对表中数据的更改。MySQL 使用 binlog 进行复制和恢复。 Debezium MySQL 连接器.
Debezium监控mysql数据并把数据库变动写入kafka
zhengzaifeidelushang的博客
03-15 650
Debezium监控mysql数据并把数据库变动写入kafka 下载debezium-connector-mysql-1.4.2.Final-plugin.tar.gz 1.kafka目录下创建debezium-connector存放文件夹 mkdir - p /moudle/kafka-2.7/conn 2.解压debezium-connector-mysql-1.4.2.Final-plugin.tar.gz #解压 tar -zxvf debezium-connector-mysql-1.4.2
Flink CDC生产实践-转载
qq_31866793的博客
12-29 1274
MySQL CDC连接器允许从MySQL数据库读取快照数据和增量数据。本文档根据官网翻译了如何设置MySQL CDC连接器以对MySQL数据库运行SQL查询。 依赖关系 为了设置MySQL CDC连接器，下表提供了使用构建自动化工具（例如Maven或SBT）和带有SQL JAR捆绑包的SQL Client的两个项目的依赖项信息。 1、Maven依赖 <dependency> <groupId>com.alibaba.ververica</groupId>
confluent实时同步sqlserver数据debezium-connector-sqlserver.zip
03-20
sql server2008 cdc 数据实时同步到kafka，Debezium是捕获数据实时动态变化的开源的分布式同步平台。能实时捕获到数据源（Mysql、Mongo、PostgreSql）的：新增（inserts）、更新(updates)、删除(deletes)操作，实时同步到Kafka，稳定性强且速度非常快。
Debezium 数据同步
墨笙弘一
08-29 585
这个中间件可以对接不同的数据源，目前支持主流database，比如mysql，oracle，postgresql等等，还在调研实践中，与flink结合的比较完美，后期大概率会往这个方向推导
Debezium 同步 MySQL 实时数据并解决数据重复消费问题
qq_38148090的博客
06-25 774
之后我们使用 binlog2sql 这个 python 工具读取了已归档的 binlog 文件，发现里面没有重复的 sql ，这说明 MySQL binlog 还是没有问题的，问题在 Debezium，但 Debezium 作为一个成熟的 cdc 工具应该也不会有什么大的问题，可能是 Debezium 的配置问题，但检查了 Debezium 的所有配置后还是没发现有什么问题，配置改了后重新运行结果还是一样。后面我们使用 gtid 过滤相同属性就解决了数据重复问题。我们的 MySQL 的版本是 5.7。
Debezium实时数据同步
xiaozhangjl的博客
06-26 135
debezium是基于Kafka Connect实现的。Kafka Connect 是一个框架，用于将数据传入和传出 Apache Kafka。
干货 | Debezium实现Mysql到Elasticsearch高效实时同步
热门推荐
铭毅天下Elasticsearch
02-23 1万+
题记 来自Elasticsearch中文社区的问题—— MySQL中表无唯一递增字段，也无唯一递增时间字段，该怎么使用logstash实现MySQL实时增量导数据到es中？ logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。 回到问题本身：如果库表里没有相关字段，该如何处理呢？ 本文给出相关探讨和解决方案。 1、 binlog认知 1.1 啥...
debezium+kafka connect的mysql增量同步解决方案
绚烂的天空
07-21 2509
debezium+kafka connect的mysql增量同步解决方案 本次安装版本记录： Kafka： kafka_2.12-2.5.0 Debezium： debezium-connector-mysql-1.2.0.Final-plugin.tar.gz Java: java8+ Mysql: mysql7+ kafka_home: /server/kafka/kafka_2.12-2.5.0 (kafka主目录截图如下) 启动kafka： cd kafka_
Debezium系列教程：使用Debezium将PostgreSQL数据库数据同步到Kafka集群
XbtoMemory的博客
09-17 987
Debezium是一个开源的变更数据捕获（CDC）工具，它可以监听数据库的变更日志，并将这些变更事件转发到消息队列中，以实现数据的实时同步。请确保替换代码中的"localhost:9092"为你的Kafka集群的正确地址，"my-consumer-group"为你的消费者组名称，"your-topic-name"为你配置的Kafka主题名称。通过监听Kafka主题，你可以获取到数据库中的变更事件，并根据自己的需求进行进一步的处理。请根据你自己的环境，修改上述配置文件中的连接信息和要监视的表信息。
Debezium 之旅：数据同步新境界，数仓同步一网打尽
数据同步
12-26 416
Debezium 是一个开源的数据订阅工具，它可以捕获数据库的 CDC 变更数据发送到 Kafka。本文以 MySQL -> Kafka -> Starrocks 为例，来演示 Debezium 同步数据到数仓的能力，并探讨如何构建一条稳定、高效的数据同步链路。
Debezium迁移和同步Oracle数据
fayeestone的博客
10-19 5331
Debezium迁移和同步Oracle数据概览特点部署先决条件部署流程快照connector默认流程--创建初始快照即席快照增量快照算法实现kafka topic对事务的支持数据变化事件keyvalue 概览 Debezium是RedHat开源的一个将多种数据源实时变更数据捕获，形成数据流输出的开源工具。当前支持MySQL、PostgreSQL、SQL Server、Oracle、Db2等常用数据库。Debezium Oracle connector是基于kafka conect的一种实现，用于捕获并记录O
如何使用FlinkSQL结合Debezium实现MySQL到Kafka的数据实时同步？请详细说明流程和关键配置。
最新发布
10-31
要实现MySQL到Kafka的数据实时同步，你需要使用FlinkSQL结合Debezium进行Change Data Capture（CDC）。首先，你需要安装并配置Debezium作为MySQL的变更数据捕获工具。Debezium通过连接到MySQL的binlog来监听数据变化，并将这些变化以消息的形式发送到Kafka主题中。 参考资源链接：[FlinkSQL CDC：实时数据同步与日志变更捕获解析](https://wenku.csdn.net/doc/6451cd45ea0840391e73846f?spm=1055.2569.3001.10343) 具体步骤如下： 1. **安装Debezium**：首先在你的环境中部署Debezium连接器，并确保它可以访问MySQL实例。配置Debezium连接器时，需要指定要监听的数据库、表和binlog的位置。 2. **配置Kafka**：Debezium会将捕获的数据变化推送到Kafka主题。因此，你需要配置Kafka集群，并创建相应的主题以接收Debezium发送的数据。 3. **构建Flink应用**：接下来，你需要开发一个Flink应用来读取Kafka中的数据变更消息。通过Flink的Kafka消费者API，你可以从Kafka主题中读取消息流。 4. **实现数据同步逻辑**：使用FlinkSQL对消息流进行处理，将数据变化应用到目标系统。这通常涉及到编写FlinkSQL查询，将变化数据转换成目标系统的格式，并将其写入目标存储系统。 5. **测试和部署**：在本地或测试环境中验证你的Flink应用能够正确读取Kafka消息并同步到目标系统。确认无误后，可以将应用部署到生产环境。 关键配置包括： - **Debezium的配置文件**：在配置文件中定义要捕获的数据库和表，以及其他Debezium特定的参数，如server.id、binlog.format等。 - **Kafka消费者的配置**：在Flink应用中配置Kafka消费者，包括主题、连接信息、offset的处理策略等。 - **FlinkSQL的查询**：编写FlinkSQL查询，处理数据流并将其同步到目标系统，可能需要使用到FlinkSQL的内置函数和连接器。 通过遵循这些步骤和配置，你可以利用FlinkSQL和Debezium实现MySQL到Kafka的实时数据同步。这不仅能够保证数据的实时性和一致性，而且可以有效地解决传统双写或多写策略带来的问题。更多细节和高级配置，请参考《FlinkSQL CDC：实时数据同步与日志变更捕获解析》。这份资料提供了从理论到实践的全面讲解，帮助你深入理解FlinkSQL CDC的工作原理及其在实际项目中的应用。 参考资源链接：[FlinkSQL CDC：实时数据同步与日志变更捕获解析](https://wenku.csdn.net/doc/6451cd45ea0840391e73846f?spm=1055.2569.3001.10343)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据架构师Pony

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值