Flink CDC

最新推荐文章于 2024-02-05 19:03:07 发布

TUJC

最新推荐文章于 2024-02-05 19:03:07 发布

阅读量1.1k

点赞数

分类专栏： Hadoop生态框架文章标签： flink 数据库 mysql

本文链接：https://blog.csdn.net/tu_jcn/article/details/126191043

版权

本文介绍了Flink CDC的基本概念，包括变更数据获取(CDC)的定义和类型，重点讲解了Flink-CDC组件如何从MySQL数据库读取全量和增量数据。此外，还提供了MySQL binlog开启的步骤，讨论了binlog的不同模式及其在数据恢复和复制中的作用。

摘要由CSDN通过智能技术生成

一、 CDC 简介

1.1 什么是 CDC

CDC 是 Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。

1.2 CDC 的种类

CDC 主要分为基于查询和基于 Binlog 两种方式，我们主要了解一下这两种之间的区别：
在这里插入图片描述

1.3 Flink-CDC

Flink 社区开发了 flink-cdc-connectors 组件，这是一个可以直接从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。

目前也已开源，开源地址：https://github.com/ververica/flink-cdc-connectors

二、 Flink CDC 案例实操

2.1 导入依赖

<dependency>
 <groupId>com.ververica</groupId>
 <artifactId>flink-connector-mysql-cdc</artifactId>
 <version>2.0.0</version>
</dependency>

2.2 DataStream 方式

import com.ververica.cdc.connectors.mysql.MySqlSource;
import com.ververica.cdc.connectors.mysql.table.StartupOptions;
import com.ververica.cdc.debezium.DebeziumSourceFunction;
import com.ververica.cdc.debezium.StringDebeziumDeserializationSchema;
import org.apache.flink.runtime.state.filesystem.FsStateBackend;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class FlinkCDC {
   

    public static void main(String[] args) throws Exception {
   

        //1.获取Flink 执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
 
        //2.通过FlinkCDC构建SourceFunction
        DebeziumSourceFunction<String> sourceFunction = MySqlSource.<String>builder()
                .hostname("hadoop102")
                .port(3306)
                .username("root")
                .password("000000")
                .databaseList("cdc_test")   // 监控的mysql 库名
//                .tableList("cdc_test.user_info")    // 监控的mysql 当前库下的具体表
                .deserializer(new StringDebeziumDeserializationSchema())  // 自带的序列化器
                .startupOptions(StartupOptions.initial())  //可选择监控binlog方式： initial,earliest,latest,specificOffset,timestamp
                .build();
        DataStreamSource<String> dataStreamSource = env.addSource(sourceFunction