【Flink】 FlinkCDC读取Mysql（ DataStream 方式）（带完整源码，直接可使用）

最新推荐文章于 2024-05-26 17:28:25 发布
最新推荐文章于 2024-05-26 17:28:25 发布
阅读量1k 收藏 1
点赞数
分类专栏： Flink解决方案 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_23225111/article/details/132877855
版权

简介：

    FlinkCDC读取Mysql数据源，程序中使用了自定义反序列化器，完整的Flink结构，开箱即用。

本工程提供

1、项目源码及详细注释，简单修改即可用在实际生产代码

2、成功编译截图

3、自己编译过程中可能出现的问题

4、mysql建表语句及测试数据

5、修复FlinkCDC读取Mysql数据时间戳差8小时问题

6、自定义反序列化器让FlinkCDC读取和后续的处理更方便

一、成功编译成功信息如下

二、 自己编译过程中可能出现的问题

FLINK:ClassNotFoundException: org.apache.flink.streaming.api.functions.source.SourceFunction_一杯咖啡半杯糖的博客-CSDN博客

 三、mysql建表语句及测试数据，Mysql版本5.7

CREATE TABLE `cdc_test` (
  `id` int(11) NOT NULL,
  `name` varchar(12) CHARACTER SET utf8mb4 COLLATE utf8mb4_

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一杯咖啡半杯糖
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
基于Flink CDC使用datastream方式全量增量同步mysql to mysql
03-04
基于Flink CDC使用datastream方式全量增量同步mysql to mysql 使用的是java语言，只需配置完源数据库和目标数据库信息，运行MysqlCDC中的main函数，即可实现多库多表同步。
Flink 使用之 MySQL CDC
chbxw
08-21 4059
一、CDC 简介 CDC 即 Change Data Capture 变更数据捕获，为Flink 1.11中一个新增功能。我们可以通过 CDC 得知数据源表的更新内容（包含Insert Update 和 Delete），并将这些更新内容作为数据流发送到下游系统。捕获到的数据操作具有一个标识符，分别对应数据的增加，修改和删除。 +I：新增数据。 -U：一条数据的修改会产生两个U标识符数据。其中-U含义为修改前数据。 +U：修改之后的数据。 -D：删除的数据。 在我的文章 Flink CDC 中可以更详细的
flink cdc mysql整理与总结
最新发布
努力工作学习的程序员
05-26 1174
1、FlinkCDC 提供了对 Debezium 连接器的封装和集成，简化了配置和使用的过程，并提供了更高级的 API 和功能，例如数据格式转换、事件时间处理等。Flink CDC 使用 Debezium 连接器作为底层的实现，将其与 Flink 的数据处理能力结合起来。通过配置和使用 Flink CDC，您可以轻松地将数据库中的变化数据流转化为 Flink 的 DataStream 或 Table，并进行实时的数据处理、转换和分析。2、Flink的DataStream和SQL比较成熟和易用。
Flink CDC 最佳实践（以 MySQL 为例）
lhyandlwl的博客
04-06 5338
可以看到，当有数据变更时，Flink CDC Job 会输出变更的表名、记录的主键以及变更的数据。例如，在这个示例中，有一行记录的年龄字段从25变成了27。在 MySQL 中，首先需要创建需要进行 CDC 的表和 CDC 表。CDC 表是一个系统表，它存储了需要捕获的更改数据。接下来，需要编写一个 Flink CDC 应用程序，以将 MySQL 表更改推送到 Kafka 主题中。首先，需要在本地或云端创建 MySQL 数据库，并添加一个具有读写权限的用户。为需要进行同步的 MySQL 表的名称。
Flink CDC读取Mysql数据
penngo的专栏
05-22 3730
Flink Mysql CDC的核心原理都是通过监控mysql的binlog的日志变化，从而进行日志解析，得到变化的数据。 Flink CDC官网：https://github.com/ververica/flink-cdc-connectors MySql CDC：https://github.com/ververica/flink-cdc-connectors/blob/master/docs/content/con
Flink DataStream 基于Select方式一次性同步Mysql表到Mysql
qq_41875667的博客
06-19 414
代码写的很菜，各位大佬如有优化的点子，还请提出，如有问题，也请反馈，只想跟大佬们一起进步，加油，奥里给。mysql 版本5.7 注意：不需要开启。MysqlReader:读取源mysql数据。MysqlWriter:写入目标Mysql。windows11 IDEA 本地运行。数据一批次性同步非CDC功能哈。MysqlCdcMysql:主类。，因为是基于表数据查询获取数据。目标表:user_new。
flink 读取 kafka (DataStream API scala 源码)
06-29
flink 读取 kafka (DataStream API scala 源码)
Flinkcdc监测mysql数据库，自定义反序列化，利用flinkApi和flinkSql两种方式
04-05
在这个场景下，我们将深入探讨如何使用Flink CDC来监测MySQL数据库，并且实现自定义反序列化，以及如何通过Flink API和Flink SQL两种方式进行数据处理。 首先，让我们理解什么是CDC。CDC是一种数据库复制技术，它...
Flink CDC MySQL同步MySQL（一）
07-06
jdbc
Flink实时读取Kafka数据批量聚合（定时按数量）写入Mysql.rar
12-27
综上所述，这个压缩包提供的源码展示了如何使用Apache Flink实现实时从Kafka读取数据，基于定时或数量条件进行聚合，最后将结果存入MySQL数据库。同时，还包括了Kafka和Zookeeper的安装包，便于用户搭建完整的实时...
Flink CDC2.2动态加载表，读取mysql数据，写入到mq
qq_34373761的博客
06-23 4287
1、使用 Flink Stream API 开发一个 Flink CDC Demo 2、以Mysql为例，采集Mysql binlog数据并发送到mq 3、生成 checkpoint 数据，重启程序从执行的状态恢复数据 4、演示2.2版本动态加载表的新特性
Flink-cdc 同步mysql数据
四维大脑的博客
08-01 2841
flink-cdc读取mysql
Flink流处理-DataStream常用Source及Sink
孙大圣的博客
11-26 3405
环境 flink-1.9.0 一、需要的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId> <version>1.9.0</versio...
flinkcdc数据采集代码FlinkAPI
m0_37759590的博客
08-29 1686
flinkcdc数据采集代码FlinkAPI
Flink- CDC2.X源码分享
Baron_ND的博客
01-12 1890
8月份 FlinkCDC 发布2.0.0版本，相较于1.0版本，在全量读取阶段支持分布式读取、支持checkpoint，且在全量 + 增量读取的过程在不锁表的情况下保障数据一致性。 详细介绍参考 Flink CDC 2.0 正式发布，详解核心改进。 Flink CDC2.0 数据读取逻辑并不复杂，复杂的是 FLIP-27: Refactor Source Interface 的设计及对Debezium Api的不了解。本文重点对 Flink CDC 的处理逻辑进行介绍， FLIP-27 的设计及 Debe
Flink mysql cdc 读取
xiaoc100200的博客
12-05 3134
Flink1.11 读取mysql cdc 返回DataStream[(Boolean, Row)]，可以根据元组第一个值为True or false判定数据是弃用或者更新插入 package com.cdc import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api._ import org.apache.flink.table.api.bridge.scala.StreamTableEnvironm.
Flink cdc2.x mysql维表关联 (Flink 1.13 DataStream)
Jhon_yh的博客
12-06 4834
Flink cdc mysql维表关联需求背景模拟场景 需求背景 无论是实时还是离线场景，都离不开维表的关联。 痛点： 维表更新 ·离线处理还好，更新之后重新处理一下我们的业务逻辑即可。 ·但是流式/实时场景中，码表的更新，意味着有关联不上的数据，cdc诞生之前，我们可能会将未匹配到的数据写到‘未识别’的分区中，再跑一次离线任务关联未匹配到的数据，但是这种处理对于实时是很不友好的。 模拟场景 现有流式数据 student(id, name, age, clazz_id, clazz_name(需要
Flink自定义DataSource之MysqlSource
夏天小厨的博客
04-10 9708
很久没更新博客了，最近两周先后准备了两个比赛，还好，结果都不错，继续加油。回归正常的Flink学习之路。 在Flink使用中经常需要自定义DataSource，以满足实际业务需求。Flink Source原生支持包括Kafka、RabbitMQ等一些常用的消息队列组件或者类似ES这样基于文本索引的高性能非关系型数据库，而对于写入关系型数据库或Flink不支持的组件中，需要借助RichSource...
5、Flink Source（mysql)
weixin_42749734的博客
11-20 2916
Flink 连接MySQL做维表，定时刷新，并与实时流做join
flinkcdc读取mysql数据
08-17
Flink CDC是一个可以直接从MySQL数据库读取全量数据和增量变更数据的组件。它是由Flink社区开发的flink-cdc-connectors组件，可用于实时捕获数据库的变动并将其写入消息中间件以供其他服务进行订阅和消费。使用Flink CDC读取MySQL数据的过程如下： 1. 首先，确保你已经正确安装和配置了Flink和flink-cdc-connectors组件。 2. 在Flink的作业中，使用CDC Connector来定义一个source，用于读取MySQL的数据。通过配置连接参数、数据库表信息和读取起始位置等，你可以指定要读取的数据源和读取的方式。 3. 在作业中使用Flink的数据转换和处理算子对读取到的MySQL数据进行处理和转换。你可以根据具体需求进行数据清洗、过滤、聚合等操作。 4. 最后，将处理后的数据发送到目标位置，可以是其他存储系统、消息队列或其他下游服务。 需要注意的是，为了使用Flink CDC读取MySQL数据，你需要确保正确配置了MySQL数据库的连接信息和权限，并在Flink作业中正确配置了CDC Connector的参数。此外，你还需要确保Flink作业和MySQL数据库之间的网络连接正常。 引用<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [Flink CDC实时获取MySQL数据](https://blog.csdn.net/weixin_41507897/article/details/120123176)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *3* [基于FlinkSQLCDC的实时数据同步方案](https://download.csdn.net/download/weixin_38691199/15541340)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯咖啡半杯糖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值