3、mysql--＞mysql库表同步

已于 2023-02-13 20:49:49 修改
阅读量182 收藏 1
点赞数
分类专栏： 大数据开发与实战 文章标签： flink mysql 大数据
于 2023-02-13 19:02:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vandh/article/details/129014766
版权
本文介绍了如何使用Flink CDC 2.3.0版本与Flink 1.15.3及Scala 2.12搭建并实现MySQL到MySQL的数据同步。详细步骤包括创建SpringBoot项目、配置LogBack日志、编写代码实现同步逻辑，并通过监控MySQL binlog来实时同步数据变化。在实际操作中，需要注意版本匹配和依赖问题。
摘要由CSDN通过智能技术生成

        关于Flink，Scala，Flink cdc的版本问题，因为网上很多文章都是采用的旧版本，如果升级了其中某个组件的版本，要不导致版本冲突，要不导致缺少包。解决办法是去flink cdc网站去查看相关说明，放上链接：https://ververica.github.io/flink-cdc-connectors/master/content/about.html。
从这里可知现在Flink CDC最新版本2.3.*，Flink最新为1.16.0。

        我这里采用Flink CDC新版本2.3.0，Flink为1.15.3，scala为2.12。搭建并实现一个完整的
1、建立SpringBoot项目
还是用SpringBoot项目，maven构建，构建一个空项目后，用这个pom文件替换。该文件花费了我不少精力来解决冲突与确实包的问题，当属全网当前最新版本。不信你去请教chatGPT，它也是人云亦云，有些包告诉你也是错误的。

<?xml version="1.0" encoding="UTF-8"?>
<pr
了解本专栏 订阅专栏 解锁全文 超级会员免费看
vandh
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
go-mysql-transfer是一款MySQL数据库实时增量同步工具.rar
07-28
go-mysql-transfer是一款MySQL数据库实时增量同步工具。 能够监听MySQL二进制日志(Binlog)的变动，将变更内容形成指定格式的消息，实时发送到接收端。从而在数据库和接收端之间形成一个高性能、低延迟的增量数据...
go-mysql-mongodb:将MySQL数据同步到MongoDB
05-23
在MySQL中创建表。 配置基础，请参阅示例config 。 在配置文件中设置MySQL源，请参见下面的。 在配置文件中自定义MySQL和MongoDB映射规则，请参阅下面的。 启动./bin/go-mysql-mongodb -config=./etc/river
【FlinkCdc】Flink MysqlCdc连接数据库失败，SSLHandshakeException怎么破？
m0_66705151的博客
05-22 2508
Flink MysqlCdc连接数据库失败，报SSLHandshakeException，应该怎么破？
flinkCdc的mysql配置及java测试代码
shy_snow的专栏
02-21 6201
测试使用的是flinkCdc2.1.1版本(无锁同步,1.x版本有同步锁)目前支持mysql5.7及以上版本; 要在mysql.cnf中配置开启开启mysql的bin-log日志, log_bin=mysql-bin binlog_format=ROW 并且只支持ROW格式，其他mixed和statement会报错如果想配置控制binlog日志的范围,在数据库范围可以使用mysql的binlog-do-db和binlog-ignore-db,表级别可以使用replicate_wild_do_t.
flink cdc mysql整理与总结
最新发布
努力工作学习的程序员
05-26 1283
1、FlinkCDC 提供了对 Debezium 连接器的封装和集成，简化了配置和使用的过程，并提供了更高级的 API 和功能，例如数据格式转换、事件时间处理等。Flink CDC 使用 Debezium 连接器作为底层的实现，将其与 Flink 的数据处理能力结合起来。通过配置和使用 Flink CDC，您可以轻松地将数据库中的变化数据流转化为 Flink 的 DataStream 或 Table，并进行实时的数据处理、转换和分析。2、Flink的DataStream和SQL比较成熟和易用。
大数据技术之 Flink-CDC
痞子磊的博客
06-06 2299
大数据技术之 Flink-CDC
Flink CDC 最佳实践（以 MySQL 为例）
lhyandlwl的博客
04-06 5524
可以看到，当有数据变更时，Flink CDC Job 会输出变更的表名、记录的主键以及变更的数据。例如，在这个示例中，有一行记录的年龄字段从25变成了27。在 MySQL 中，首先需要创建需要进行 CDC 的表和 CDC 表。CDC 表是一个系统表，它存储了需要捕获的更改数据。接下来，需要编写一个 Flink CDC 应用程序，以将 MySQL 表更改推送到 Kafka 主题中。首先，需要在本地或云端创建 MySQL 数据库，并添加一个具有读写权限的用户。为需要进行同步的 MySQL 表的名称。
Go-mysql-schema-sync是一款使用Go开发跨平台的MySQL表结构自动同步工具
08-13
3. **安全可靠**：在进行表结构同步时，Go-mysql-schema-sync通常会先生成SQL脚本供用户审查，确保操作的安全性。只有在确认无误后，才会执行实际的同步操作，避免因误操作导致的数据损失。 4. **高性能**：基于Go...
Go-go-mysql-elasticsearch-自动同步你的MySQL数据到Elasticsearch
08-13
标题 "Go-go-mysql-elasticsearch-自动同步你的MySQL数据到Elasticsearch" 指的是一种使用 Go 语言编写的工具，它允许你实现实时或定期地将 MySQL 数据库中的数据自动同步到 Elasticsearch 搜索引擎。这个工具名为 `...
mongodb-to-mysql-sync:MongoDB 到 MySQL 同步
06-15
##MongoDB 到 MySQL 数据流 将 MongoDB 中的数据实时流式传输到 MySQL 数据库。 对 NoSQL 数据库中的数据启用 SQL 查询。 配置： 更新config.json的 mongodb 配置 { " service " : " mycol001 " , " mongodb " : ...
最新版Flink CDC MySQL同步MySQL（一）
热门推荐
weixin_43114209的博客
07-05 1万+
Flink CDC 是Apache Flink ®的一组源连接器，使用变更数据捕获 (CDC) 从不同数据库中获取变更。Apache Flink 的 CDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Debezium 的能力。
flink1.14版本集成FlinkCDC报错
lvhong1234的博客
06-02 1233
flink1.14版本集成FlinkCDC报错
Flink cdc 2.3.0 日前发布，支持众多新特性
weixin_40898246的博客
11-18 1948
2.3.0 的发布了众多新特性
Flink CDC 系列 - 实时抽取 Oracle 数据，排雷和调优实践
Ververica的博客
12-15 5516
▼ 关注「ApacheFlink」视频号，遇见更多大咖▼摘要：本文作者为中国农业银行研发中心丁杨，在 Flink CDC 2.1 版本发布后第一时间下载使用，并成功实现了对 Oracle...
1.33.Flink CDC案例\官方介绍\Table/SQL API的语法\DataStream API的用法\Building from source\Flink CDC案例\案例1/2/3
涂作权的博客
07-05 1405
1.33.Flink CDC案例 1.33.1.官方介绍 1.33.1.1.Table/SQL API的语法 1.33.1.2.DataStream API的用法 1.33.1.3.Building from source 1.33.2.Flink CDC案例 1.33.2.1.pom.xml定义 1.33.2.2.案例1 1.33.2.3.案例2 1.33.2.4.案例3Flink CDC连接器是一组用于Apache Flink的source connectors，使用更改数据捕获(CDC)从不同的数据库
flink 1.13.x集成 CDC 2.3.0
夏夏夏
03-03 2331
flink 1.13.0 搭配 cdc 2.3.0 ，集成问题踩坑
flink-cdc-connectors-release-2.3.0自己编译
偶尔写些东西，意思一下我也参与了内卷
12-15 1226
这个包确实的。大家自行百度，这个包alicloud下载不了，可以登录https://mvnrepository.com/搜索下载后安装到本地； 安装我这里是在mvnrep官网点击view all 下载.jar和.pom放到本地仓库的。 把这个点上继续install, 成功
关于FlinkCDC运行报错 : Caused by: java.lang.NoSuchMethodError:
JinKla的博客
03-17 5483
Caused by: java.lang.NoSuchMethodError: com.mysql.cj.CharsetMapping.getJavaEncodingForMysqlCharset(Ljava/lang/String;)Ljava/lang/String; 解决：flinkcdc本身依赖与mysql连接依赖发生了冲突，注释掉mysql连接依赖即可。 <!-- <dependency>--> <!-- <groupId>mysql&l
java.lang.ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter
yy7517053的博客
03-08 2378
Flink 引用 mysql-cdc 连接器异常处理
MySQL-MMM：构建高可用数据库集群
3. 安装配置MySQL-MMM：在所有参与服务器上安装MMM监控节点和代理节点，配置 MMM 相关的参数，包括定义哪些服务器作为主服务器，哪些作为从服务器，以及故障转移策略等。 4. 测试验证：完成配置后，需要通过一系列...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

vandh

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值