Flink1.11中的CDC Connectors操作实践

已于 2022-03-12 13:10:03 修改
阅读量1k 收藏
点赞数
分类专栏： Flink系统性学习专栏 文章标签： kafka 数据库 big data
于 2021-01-31 13:41:53 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/113470049
版权
本文介绍了Flink 1.11中的CDC Connectors，包括MySQL CDC、canal-json和changelog-json的使用，详细阐述了如何创建数据源、配置依赖，并提供了操作实践，强调了在使用过程中的注意事项，如添加特定的jar包。内容涵盖了从数据库快照到持续变更日志的读取，适用于数据库同步、审计日志等场景。
摘要由CSDN通过智能技术生成

Flink1.11引入了CDC的connector，通过这种方式可以很方便地捕获变化的数据，大大简化了数据处理的流程。Flink1.11的CDC connector主要包括：MySQL CDC和Postgres CDC,同时对Kafka的Connector支持canal-json和debezium-json以及changelog-json的format。本文主要分享以下内容：

  • CDC简介

  • Flink提供的 table format

  • 使用过程中的注意点

  • mysql-cdc的操作实践

  • canal-json的操作实践

  • changelog-json的操作实践

简介

Flink CDC Connector 是ApacheFlink的一组数据源连接器，使用变化数据捕获change data capture (CDC)从不同的数据库中提取变更数据。Flink CDC连接器将Debezium集成为引擎来捕获数据变更。因此，它可以充分利用Debezium的功能。

特点

  • 支持读取数据库快照，并且能够持续读取数据库的变更日志，即使发生故障，也支持exactly-once

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
FLINK 流批一体ETL之flink-cdc-connectors组件
科学的N次方
05-11 1004
在flink-cdc-connectors出来之前，实时同步mysql binlog的架构基本是Debezium/Canal + Kafka 做采集层 ，用flink做数据加工计算，架构图： 这个架构采集端组件过多导致维护繁杂，Debezium/Canal 和 flink 都需要维护，出现问题的概率大，查找原因繁琐。 flink-cdc-connectors组件的出现使流批一体数据仓库，通过FLINK从采集层到计算层整个ETL流程都可以由FLINK来完成。架构图： flink-cdc-connecto
Zeppelin结合Flink1.11以及flink-cdc-connector的SQL使用（已跑通）
打工日常
12-19 736
已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解。如未购买，请购买专栏，再申请。 文章部分截图如下： 更多详细内容请看如下链接： 【腾讯文档】Zeppelin结合Flink1.11以及flink-cdc-connector的SQL使用（已跑通） ...
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器 Flink CDC连接器是Apache Flink的一组源连接器，使用更改数据捕获（CDC）从不同的数据库中提取更改。 Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 进一步了解什么是 。 本自述文件旨在简要介绍Flink CDC连接器的核心功能。 有关详细文档，请参阅。 支持（经过测试）的连接器 数据库 版 MySQL 数据库：5.7，8.0.x JDBC驱动程序：8.0.16 PostgreSQL 数据库：9.6，10，11，12 JDBC驱动程序：42.2.12 产品特点 支持读取数据库快
Flink1.11中的CDC Connectors操作实践_jmx_bigdata的博客-CSDN博客
lcfchan的博客
09-13 157
Flink1.11中的CDC Connectors操作实践_jmx_bigdata的博客-CSDN博客
Flink CDC Connectors 常见问题解决方案
最新发布
gitblog_07092的博客
09-13 341
Flink CDC Connectors 常见问题解决方案 flink-cdc 项目地址: https://gitcode.com/gh_mirrors/fl/flink-cdc ...
Flink-CDC
技术空间
07-27 1233
使用FlinkCDC读取binlog并同步数据
Flink1.11的CDC-Connectors操作记录
qq_31866793的博客
08-31 1944
一，Flink1.11引入了CDC操作，在官网我们可以看到的是： 1，Canal https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/connectors/formats/canal.html 2，Debeziumhttps://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/connectors/formats/d...
flink1.11写入ES7.10完整代码（JAVA程序实现）
04-11
在本文中，我们将深入探讨如何使用Apache Flink 1.11版本将数据写入Elasticsearch (ES) 7.10。Flink是一个强大的流处理和批处理框架，而Elasticsearch则是一个实时的分布式搜索和分析引擎，常用于大数据的存储和检索...
FlinkCDC入门
song_quan_的博客
05-09 2597
一.背景 数据准实时复制（CDC）是目前行内实时数据需求大量使用的技术，随着国产化的需求，我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发，逐步实现对商业产品的替代。我们评估了几种开源产品，canal,debezium,flinkCDC等产品。作了如下的对比： 组件 Canal Debezium Flink 开源方 阿里 redhat ..
flink-sql-connector-mysql-cdc-1.2.0.jar
03-05
flink cdc mysql jar包，2021年最新版
flink mysql connector_Flink JDBC Connector：Flink 与数据库集成最佳实践
weixin_30475939的博客
02-06 814
整理：陈政羽(Flink 社区志愿者)摘要：Flink 1.11 引入了 CDC，在此基础上， JDBC Connector 也发生比较大的变化，本文由Apache Flink Contributor，阿里巴巴高级开发工程师徐榜江(雪尽)分享，主要介绍 Flink 1.11 JDBC Connector 的最佳实践。大纲如下：JDBC connectorJDBC CatalogJDBC Dial...
Flink CDC Connectors 项目推荐
gitblog_07091的博客
09-13 390
Flink CDC Connectors 项目推荐 flink-cdc 项目地址: https://gitcode.com/gh_mirrors/fl/flink-cdc ...
Flink学习13-Flink CDC
qq_40342691的博客
01-03 2153
cdc全称 Change Data Capture 变更数据捕获。通俗来讲只要能捕获到变更的数据的技术都可以称为cdc。常见的开源技术有以下几种：以下是几种技术的横向对比。
flink+mysql+connector_Flink实战之自定义flink sql connector
weixin_30479433的博客
01-27 1010
背景最近工作中需要自定义开发一些flink sql的connector，因为官方提供的connector毕竟有限，在我们工作中可能会用到各种各样的中间件。所以官方没有提供的就需要我们自定义开发。就是如：CREATE TABLE XXX(A STRING,B BIGINT)WITH('connect.type' = 'kafka',...)所以开发一个自己的connector需要做哪些，本文就来总结...
60、Flink CDC 入门介绍及Streaming ELT示例（同步Mysql数据库数据到Elasticsearch）-CDC Connector介绍及示例 (1)
热门推荐
alanchanchn的专栏
01-27 3万+
本文介绍的CDC是基于2.4版本，当前版本已经发布至3.0，本Flink 专栏介绍是基于Flink 1.17版本，CDC 2.4版本支持到1.17版本。Apache Flink®的CDC连接器是用于Apache Flnk®的一组源连接器，使用更改数据捕获（CDC）接收来自不同数据库的更改。Apache Flink®的CDC连接器将Debezium集成为捕获数据更改的引擎。因此，它可以充分利用Debezium的能力。了解更多关于Debezium的信息。
flink+mysql+connector_Flink SQL中connector的定义和实现
weixin_35361243的博客
02-15 1883
在FLink SQL中一般是以create Table和connector结合的形式读取外部数据，从而创建table，如下是以JDBC作为connector的创建格式：CREATETABLEMyUserTable(...)WITH('connector.type'='jdbc','connector.url'='jdbc:mysql://localhost:3306/flink-...
flink+mysql+connector_flink cdc connector简单案例
weixin_29189363的博客
01-27 1873
参考文档安装下载jar包org.apache.flinkflink-connector-jdbc_2.111.11.0com.alibaba.ververicaflink-connector-mysql-cdc1.1.0将jar包放到flink集群flink/lib下注意这里需要放置flink-cdc-connectors和flink-jdbc-connectors重启集群案例：MySQLSour...
Flink 1.11中文文档：入门到实践与欺诈检测教程
关于Apache Flink 1.11的这份中文文档提供了全面的学习和实践指南，由pig2整理于2020年7月17日。文档涵盖了Flink的基础概念、安装与配置、实战应用以及高级特性。 1. 入门学习： - 试用和学习Flink：文档引导读者...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值