Flink知识总结（汇总）

Mr.梧桐

已于 2022-04-26 16:15:35 修改

阅读量2.9k

点赞数

文章标签： flink

于 2022-04-20 18:31:43 首次发布

本文链接：https://blog.csdn.net/weixin_49165958/article/details/124303849

版权

本文介绍了Flink的CDC概念，包括CDC的种类和Flink CDC的版本，并提供了Datestream和Flink SQL方式的Demo实战演示。此外，还探讨了Flink的连接器，列出其支持的数据源和用例。

摘要由CSDN通过智能技术生成

一、Flink cdc

1.简介

1.1 CDC种类

FlinkCDC，简单了解下Change Data Capture(变更数据获取)的概念：
核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费
CDC的种类：主要分为基于查询和基于Binlog两种方式，区别：
在这里插入图片描述
针对Binlog的CDC，有如下的区别分析：

1.2 FlinkCDC 版本

Flink自然也不甘示弱，FlinkCDC应运而生，通过flink-cdc-connectors 组件，可以直接从MySQL等数据库直接读取全量数据和增量变更数据的source组件

开源地址：https://github.com/ververica/flink-cdc-connectors

版本信息
在这里插入图片描述

2.Demo实战演示

2.1 Datestream方式

通过创建maven项目，通过pom文件注入相关依赖：

 <dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-java</artifactId>
    <version>1.12.0</version>
 </dependency>
 <dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java_2.12</artifactId>
    <version>1.12.0</version>
 </dependency>
 <dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-clients_2.12</artifactId>
    <version>1.12.0</version>
 </dependency>
 <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.1.3</version>
 </dependency>
 <dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.49</version>
 </dependency>
  <dependency>
    <groupId>com.alibaba.ververica</groupId>
    <artifactId>flink-connector-mysql-cdc</artifactId>
    <version>1.2

最低0.47元/天解锁文章