Flink CDC基本概念以及MySQL同步到MySQL

已于 2024-07-29 15:38:30 修改
阅读量13 收藏
点赞数
分类专栏： Flink & DolphinScheduler 文章标签： flink 大数据 CDC MySQL同步 DataStream SQL
于 2024-07-29 13:03:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L_15156024189/article/details/140747170
版权

目录

欢迎来到Flink CDC

核心概念

数据管道（Data Pipeline）

数据源（Data Source）

数据接收器（Data Sink）

表ID（Table ID）

转换（Transform）

路由（Route）

连接器（connectors）

管道连接器（pipeline connectors）

支持连接器

开发自己的连接器

Flink源

支持的连接器

 支持的Flink版本

特征

MySQL同步到MySQL

DataStream方式实现

需要的依赖pom.xml

准备工作

代码 

测试

​编辑

 SQL方式实现

需要的依赖pom.xml

代码

测试

        本文基于Flink CDC v2.4.2版本和Flink 1.17.1版本。

欢迎来到Flink CDC

        Flink CDC是一个流数据集成工具，旨在为用户提供更强大的API。它允许用户通过YAML优雅地描述他们的ETL管道逻辑，并帮助用户自动生成自定义Flink算子和提交作业。Flink CDC优先优化任务提交过程，并提供增强的功能，如模式演化（schema evolution）、数据转换（data transformation）、全数据库同步（full database synchronization）和仅一次语义（exactly-once semantic）。

        与Apache Flink深度集成并由其提供支持，Flink CDC提供:

✅端到端数据集成框架
✅基于数据集成API用户可轻松构建作业
✅源端/目标端中多表支持
✅整个数据库的同步
✅模式演化能力

核心概念

数据管道（Data Pipeline）

        由于Flink CDC中的事件（events）以管道（ pipeline）方式从上游流向下游，因此整个ETL

了解本专栏 订阅专栏 解锁全文
leboop-L
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink DataStream API CDC同步MySQL数据到StarRocks
舒适边缘的博客
12-12 1213
一、版本信息 Flink：1.16.1 二代码实现 pom文件如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM
最新版Flink CDC MySQL同步MySQL（一）
热门推荐
weixin_43114209的博客
07-05 1万+
Flink CDC 是Apache Flink ®的一组源连接器，使用变更数据捕获 (CDC) 从不同数据库中获取变更。Apache Flink 的 CDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Debezium 的能力。
Flink CDC 基于mysql binlog 实时同步mysql表
qq_41875667的博客
06-25 3951
环境说明： flink1.15.2 mysql 版本5.7 注意：需要开启binlog，因为增量同步是基于binlog捕获数据 windows11 IDEA 本地运行 先上官网使用说明和案例：MySQL CDC Connector — Flink CDC documentation 1. mysql开启binlog (注意，引擎是 InnoDB,如果是ndbcluster，本人测试是捕获不到binlog日志的，增量相当于没用，不知道是不是ndbcluster 下的binlog 配置是否有问
基于Flink CDC实时同步数据（MySQL到MySQL）
04-22 1万+
Flink FlinkCDC 实时ETL
Flink CDC MySQL同步MySQL（一）
07-06
jdbc
基于Flink CDC使用datastream方式全量增量同步mysql to mysql
03-04
基于Flink CDC使用datastream方式全量增量同步mysql to mysql 使用的是java语言，只需配置完源数据库和目标数据库信息，运行MysqlCDC中的main函数，即可实现多库多表同步。
mysql实时同步pg
01-17
在这个场景中，我们将使用Flink CDC来实现MySQL到PostgreSQL的实时数据同步。 首先，我们需要配置源数据库和目标数据库的信息。在MySQL端，我们需要指定要同步的数据库和表，以及MySQL的连接信息。在PostgreSQL端，...
flink mysql cdc 2.3 编译版本兼容flink1.4.x
09-01
只兼容mysql
Flink-CDC解析（第47天）
syhiiu的博客
07-27 2229
本文主要概述了Flink-CDC
Flink笔记整理（四）
LUyan10086的博客
07-24 1461
Flink是一个批流一体的框架，Flink的批处理就是借助其中的窗口功能实现。 在批处理统计中，我们可以等待一批数据都到齐后，统一处理。但是在实时处理统计中，我们是来一条就得处理一条，那么我们怎么统计最近一段时间内的数据呢？引入“窗口”。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。接下来我们就深入了解一下Flink中的时间语义和窗口的应用。Flink是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷
在 Windows 搭建 flink 运行环境并模拟流数据处理
明而决之
07-24 940
在大数据场景中，开发者追求高效与灵活，Linux 系统以其稳定性成为众多组件的首选，但在资源有限的情况下，在本机搭建一个 Linux 虚拟机集群却显得过于笨重，启动、运行占资源，需要配置网络，无法和windows共享资源，尤其是对只有 8GB 内存的 Windows 系统用户来说，内存压力显而易见。尽管如此，也挡不住一个学习者的“热情”。本文介绍怎么在 Windows 本地搭建 Flink 环境，注意这是一个伪分布式的测试环境。
Flink之重启策略
zxcvbnm0207的博客
07-24 527
在设置完 CheckPoint() 检查点机制后，不设置重启策略的话，，可以无限重启程序，那么设置的检查点机制也就没有什么意义了。因此，在生产实践中，当设置完检查点之后，我们要与之设置好重启策略，一般有三种策略可选。
分布式系统常见软件架构模式
Ben的专栏
07-25 961
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
消息队列-rabbitmq（生产者.消费者. 消息.可靠性）
最新发布
2202_75352238的博客
07-28 296
在我们 生产者发送消息到交换机的时候，假如 我们发送到交换机 ，但是 队列没有收到消息，会返回ack，发送到交换机，然后发送到队列，消费者没有接收到消息返回ack，但是发送到交换机失败，会返回nack。死信交换机 ，都是假如一个定时消息过期了，或者发送延迟消息我们直接把该消息传递到我们绑定的死信交换机中，跟上文 消息发送失败了返回rejct之后，消息发送到err交换机是两种不同的策略。当一条消息发送失败的时候，消费者重新尝试消费消息，达到我们重试的次数之后，消费者返回reject，mq直接删除消息。
Spark RPC框架详解
小昌昌的博客
07-22 1034
SparkContext构造过程的重要一步，就是Driver、ApplicationMaster以及Executor之间的协调和通信过程，这是基于RPC进行的。这里的Spark RPC是基于Netty的通信过程，而Netty的通信其实是基于Reactor架构进行的，Reactor架构其实是基于Java NIO模型进行的。本文详细讲解了基于Netty 的 SparkRPC 框架的实现细节。
Kafka知识总结（选举机制+控制器+幂等性）
月伴飞鱼
07-27 769
其他Broker启动时也会在Zookeeper中创建临时节点，但是发现节点已经存在，所以它们会收到一个异常，意识到控制器已经存在，那么就会在Zookeeper中创建Watch对象，便于它们收到控制器变更的通知。他只能保证单分区上的幂等性，即一个幂等性Producer只能够保证某个topic的一个分区上不出现重复消息，无法实现多分区的幂等。控制器上保存了最全的集群元数据信息，其他所有 Broker 会定期接收控制器发来的元数据更新请求，从而更新其内存中的缓存数据。目前，当有新 Broker 启动后，它会在。
工作中es客户端常见使用错误
07-24 379
es客户端常见错误
杭州东网约车管理再出行方面取得的显著成效
2301_81759256的博客
07-25 491
本次革新，沧穹科技首创将音频“室内北斗”应用于网约车智能导航，利用其信号的空间传播特性和信号传播时间或相位差的精确测量技术，实现网约车智能化服务中对车辆与乘客实时位置的精确追踪，从而确保从预约到乘车的全流程实现智能化、可视化、灵活化管理。同时，管理部门还利用大数据分析，对网约车运营情况进行实时监控和分析，及时发现问题并进行处理，确保了网约车服务的稳定性和可靠性。同时，管理部门还将持续关注行业动态和乘客需求变化，不断优化服务流程和提高服务质量，为广大市民和游客提供更加便捷、安全、舒适的出行体验。
flink cdc 实时同步mysql到Elasticsearch
04-04
要将MySQL实时同步到Elasticsearch，可以使用Flink CDC（Change Data Capture）工具。Flink CDC是Apache Flink的一个组件，可以捕获数据库中的更改，并将其转换为实时数据流。以下是将MySQL实时同步到Elasticsearch的步骤： 1. 安装Flink CDC 下载Flink CDC并将其解压缩到本地文件夹。然后启动Flink集群并将CDC作为一个任务提交到集群中。 2. 配置CDC任务 在Flink CDC中，需要配置一个任务来捕获MySQL中的更改。您需要指定MySQL连接信息和要捕获更改的表。 3. 将数据流发送到Elasticsearch 在CDC任务中，您可以使用Elasticsearch连接器将数据流发送到Elasticsearch。您需要指定Elasticsearch连接信息和要发送的索引。 4. 启动任务并监控进程 启动CDC任务后，您可以使用Flink的Web UI来监控任务进度和性能。 以上是将MySQL实时同步到Elasticsearch的基本步骤。您可以根据自己的需求做出更改和优化，例如在任务中添加过滤器或转换器来处理数据流。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

leboop-L

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值