37、Flink 的CDC 格式：debezium部署以及mysql示例（2）-Flink 与Debezium 实践

已于 2024-04-22 08:30:16 修改
阅读量1.8w 收藏 14
点赞数 22
分类专栏： # Flink专栏 文章标签： flink kafka flink hive flink sql 大数据 flink cdc flink kafka
于 2024-01-26 09:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenwewi520feng/article/details/135773104
版权

Flink 系列文章

一、Flink 专栏

Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。

  • 1、Flink 部署系列
    本部分介绍Flink的部署、配置相关基础内容。

  • 2、Flink基础系列
    本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。

  • 3、Flik Table API和SQL基础系列
    本部分介绍Flink Table Api和SQL的基本用法，比如Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。

  • 4、Flik Table API和SQL提高与应用系列
    本部分是table api 和sql的应用部分，和实际的生产应用联系更为密切，以及有一定开发难度的内容。

  • 5、Flink 监控系列
    本部分和实际的运维、监控工作相关。

二、Flink 示例专栏

Flink 示例专栏是 Flink 专栏的辅助说明，一般不会介绍知识点的信息，更多的是提供一个一个可以具体使用的示例。本专栏不再分目录，通过链接即可看出介绍的内容。

两专栏的所有文章入口点击：Flink 系列文章汇总索引

文章目录

本文详细的介绍了Flink sql client通过debezium解析cdc数据同步至kafka的使用过程。

如果需要了解更多内容，可以在本人Flink 专栏中了解更新系统的内容。

本文除了maven依赖外，还依赖kafka、flink、debezium。

本专题文章分为如下几篇：

37、Flink 的CDC 格式：debezium部署以及mysql示例（1）-debezium的部署与示例
37、Flink 的CDC 格式：debezium部署以及mysql示例（2）-Flink 与Debezium 实践
37、Flink 的CDC 格式：debezium部署以及mysql示例（完整版）

二、Flink 与 Debezium 实践

1、maven 依赖

为了使用Debezium格式，使用构建自动化工具（如Maven或SBT）的项目和带有SQLJAR包的SQLClient都需要以下依赖项。

1）、avro

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-avro-confluent-registry</artifactId>
  <version>1.17.1</version>
</dependency>

2）、json

json格式是Flink 自带的依赖包。

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-json</artifactId>
  <version>1.17.1</version>
</dependency>

参考 Debezium 文档，了解如何设置 Debezium Kafka Connect 用来将变更日志同步到 Kafka 主题。

2、Flink sql client 建表示例

Debezium 为变更日志提供了统一的格式，这是一个 JSON 格式的从 MySQL userscoressink表捕获的更新操作的简单示例:

{
	"before": {
		"name": "alan_test",
		"scores": 666.0
	},
	"after": {
		"name": "alan_test",
		"scores": 888.0
	},
	"source": {
		"version": "1.7.2.Final",
		"connector": "mysql",
		"name": "ALAN",
		"ts_ms": 1705717298000,
		"snapshot": "false",
		"db": "cdctest",
		"sequence": null,
		"table": "userscoressink",
		"server_id": 1,
		"gtid": null,
		"file": "alan_master_logbin.000004",
		"pos": 4931,
		"row": 0,
		"thread": null,
		"query": null
	},
	"op": "u",
	"ts_ms": 1705717772785,
	"transaction": null
}

MySQL userscoressink表有2列（name，scores）。上面的 JSON 消息是 userscoressink表上的一条更新事件，其中 name = alan_test的行的 scores 值从 666 更改为 888 。

此消息已同步到 Kafka 主题 ALAN.cdctest.userscoressink，则可以使用以下 DDL 来使用此主题并解析更改事件。

具体启动debezium参考本文的第一部分的kafka示例，其他不再赘述。下面的部分仅仅是演示debezium环境都正常后，在Flink SQL client中的操作。

-- 元数据与 MySQL "userscoressink" 表完全相同

CREATE TABLE userscoressink_debezium (
  name STRING,
  scores FLOAT
) WITH (
 'connector' = 'kafka',
 'topic' = 'ALAN.cdctest.userscoressink',
 'properties.bootstrap.servers' = 'server1:9092,server2:9092,server3:9092',
 'properties.group.id' = 'testGroup',
 'scan.startup.mode' = 'earliest-offset',
  -- 使用 'debezium-json' format 来解析 Debezium 的 JSON 消息
  -- 如果 Debezium 用 Avro 编码消息，请使用 'debezium-avro-confluent'
 'format' = 'debezium-json'  
);

重要说明

上面的debezium的json更新事件是基于在配置kafka插件的时候设置了以下参数的情况下，默认该参数是true，json的事件就是下面一个示例的情况。

key.converter.schemas.enable=false 
value.converter.schemas.enable=false

在某些情况下（默认），用户在设置 Debezium Kafka Connect 时，可能会开启 Kafka 的配置 ‘value.converter.schemas.enable’，用来在消息体中包含 schema 信息。
然后，Debezium JSON 消息可能如下所示:

{
	"schema": {
		"type": "struct",
		"fields": [{
			"type": "struct",
			"fields": [{
				"type": "string",
				"optional": true,
				"field": "name"
			}, {
				"type": "double",
				"optional": true,
				"field": "scores"
			}],
			"optional": true,
			"name": "ALAN.cdctest.userscoressink.Value",
			"field": "before"
		}, {
			"type": "struct",
			"fields": [{
				"type": "string",
				"optional": true,
				"field": "name"
			}, {
				"type": "double",
				"optional": true,
				"field": "scores"
			}],
			"optional": true,
			"name": "ALAN.cdctest.userscoressink.Value",
			"field": "after"
		}, {
			"type": "struct",
			"fields": [{
				"type": "string",
				"optional": false,
				"field": "version"
			}, {
				"type": "string",
				"optional": false,
				"field": "connector"
			}, {
				"type": "string",
				"optional": false,
				"field": "name"
			}, {
				"type": "int64",
				"optional": false,
				"field": "ts_ms"
			}, {
				"type": "string",
				"optional": true,
				"name": "io.debezium.data.Enum",
				"version": 1,
				"parameters": {
					"allowed": "true,last,false"
				},
				"default": "false",
				"field": "snapshot"
			}, {
				"type": "string",
				"optional": false,
				"field": "db"
			}, {
				"type": "string",
				"optional": true,
				"field": "sequence"
			}, {
				"type": "string",
				"optional": true,
				"field": "table"
			}, {
				"type": "int64",
				"optional": false,
				"field": "server_id"
			}, {
				"type": "string",
				"optional": true,
				"field": "gtid"
			}, {
				"type": "string",
				"optional": false,
				"field": "file"
			}, {
				"type": "int64",
				"optional": false,
				"field": "pos"
			}, {
				"type": "int32",
				"optional": false,
				"field": "row"
			}, {
				"type": "int64",
				"optional": true,
				"field": "thread"
			}, {
				"type": "string",
				"optional": true,
				"field": "query"
			}],
			"optional": false,
			"name": "io.debezium.connector.mysql.Source",
			"field": "source"
		}, {
			"type": "string",
			"optional": false,
			"field": "op"
		}, {
			"type": "int64",
			"optional": true,
			"field": "ts_ms"
		}, {
			"type": "struct",
			"fields": [{
				"type": "string",
				"optional": false,
				"field": "id"
			}, {
				"type": "int64",
				"optional": false,
				"field": "total_order"
			}, {
				"type": "int64",
				"optional": false,
				"field": "data_collection_order"
			}],
			"optional": true,
			"field": "transaction"
		}],
		"optional": false,
		"name": "ALAN.cdctest.userscoressink.Envelope"
	},
	"payload": {
		"before": {
			"name": "alan_test",
			"scores": 666.0
		},
		"after": {
			"name": "alan_test",
			"scores": 888.0
		},
		"source": {
			"version": "1.7.2.Final",
			"connector": "mysql",
			"name": "ALAN",
			"ts_ms": 1705717298000,
			"snapshot": "false",
			"db": "cdctest",
			"sequence": null,
			"table": "userscoressink",
			"server_id": 1,
			"gtid": null,
			"file": "alan_master_logbin.000004",
			"pos": 4931,
			"row": 0,
			"thread": null,
			"query": null
		},
		"op": "u",
		"ts_ms": 1705717772785,
		"transaction": null
	}
}

为了解析这一类信息，你需要在上述 DDL WITH 子句中添加选项 ‘debezium-json.schema-include’ = ‘true’（默认为 false）。通常情况下，建议不要包含 schema 的描述，因为这样会使消息变得非常冗长，并降低解析性能。

本示例采用默认的方式进行展示。

CREATE TABLE userscoressink_debezium (
  name STRING,
  scores FLOAT
) WITH (
 'connector' = 'kafka',
 'topic' = 'ALAN.cdctest.userscoressink',
 'properties.bootstrap.servers' = 'server1:9092,server2:9092,server3:9092',
 'properties.group.id' = 'testGroup',
 'scan.startup.mode' = 'earliest-offset',
 'debezium-json.schema-include' = 'true',
 'format' = 'debezium-json'  
);

Flink SQL> CREATE TABLE userscoressink_debezium (
>   name STRING,
>   scores FLOAT
> ) WITH (
>  'connector' = 'kafka',
>  'topic' = 'ALAN.cdctest.userscoressink',
>  'properties.bootstrap.servers' = 'server1:9092,server2:9092,server3:9092',
>  'properties.group.id' = 'testGroup',
>  'scan.startup.mode' = 'earliest-offset',
>  'debezium-json.schema-include' = 'true',
>  'format' = 'debezium-json'  
> );
[INFO] Execute statement succeed.

Flink SQL> select * from userscoressink_debezium;
+----+--------------------------------+--------------------------------+
| op |                           name |                         scores |
+----+--------------------------------+--------------------------------+
| +I |                           alan |                           80.0 |
| +I |                       alanchan |                          100.0 |
| +I |                    alanchanchn |                          109.0 |
| +I |                      alan_test |                          666.0 |
| -U |                      alan_test |                          666.0 |
| +U |                      alan_test |                          888.0 |
| -D |                      alan_test |                          888.0 |
| +I |               test_alanchanchn |                          199.0 |
| -U |               test_alanchanchn |                          199.0 |
| +U |               test_alanchanchn |                          299.0 |
| -D |               test_alanchanchn |                          299.0 |

在将主题注册为 Flink 表之后，可以将 Debezium 消息用作变更日志源。

-- MySQL "userscoressink_debezium" 的实时物化视图
-- 按name分组统计scores
Flink SQL> select name ,sum(scores) from userscoressink_debezium group by name;
+----+--------------------------------+--------------------------------+
| op |                           name |                         EXPR$1 |
+----+--------------------------------+--------------------------------+
| +I |                           alan |                           80.0 |
| +I |                       alanchan |                          100.0 |
| +I |                    alanchanchn |                          109.0 |
| +I |                      alan_test |                          666.0 |
| -D |                      alan_test |                          666.0 |
| +I |                      alan_test |                          888.0 |
| -D |                      alan_test |                          888.0 |
| +I |               test_alanchanchn |                          199.0 |
| -D |               test_alanchanchn |                          199.0 |
| +I |               test_alanchanchn |                          299.0 |
| -D |               test_alanchanchn |                          299.0 |

3、Available Metadata

以下格式元数据可以在表定义中公开为只读（VIRTUAL）列。

只有当相应的连接器转发格式元数据时，注意格式元数据字段才可用。截至Flink 1.17版本，只有Kafka连接器能够公开其值格式的元数据字段。

在这里插入图片描述
以下示例显示了如何访问Kafka中的Debezium元数据字段：

CREATE TABLE userscoressink_debezium_meta (
  origin_ts TIMESTAMP(3) METADATA FROM 'value.ingestion-timestamp' VIRTUAL,
  event_time TIMESTAMP(3) METADATA FROM 'value.source.timestamp' VIRTUAL,
  origin_database STRING METADATA FROM 'value.source.database' VIRTUAL,
  origin_schema STRING METADATA FROM 'value.source.schema' VIRTUAL,
  origin_table STRING METADATA FROM 'value.source.table' VIRTUAL,
  origin_properties MAP<STRING, STRING> METADATA FROM 'value.source.properties' VIRTUAL,
  name STRING,
  scores FLOAT
) WITH (
 'connector' = 'kafka',
 'topic' = 'ALAN.cdctest.userscoressink',
 'properties.bootstrap.servers' = 'server1:9092,server2:9092,server3:9092',
 'properties.group.id' = 'testGroup',
 'scan.startup.mode' = 'earliest-offset',
 'debezium-json.schema-include' = 'true',
 'format' = 'debezium-json'  
);

Flink SQL> CREATE TABLE userscoressink_debezium_meta (
>   origin_ts TIMESTAMP(3) METADATA FROM 'value.ingestion-timestamp' VIRTUAL,
>   event_time TIMESTAMP(3) METADATA FROM 'value.source.timestamp' VIRTUAL,
>   origin_database STRING METADATA FROM 'value.source.database' VIRTUAL,
>   origin_schema STRING METADATA FROM 'value.source.schema' VIRTUAL,
>   origin_table STRING METADATA FROM 'value.source.table' VIRTUAL,
>   origin_properties MAP<STRING, STRING> METADATA FROM 'value.source.properties' VIRTUAL,
>   name STRING,
>   scores FLOAT
> ) WITH (
>  'connector' = 'kafka',
>  'topic' = 'ALAN.cdctest.userscoressink',
>  'properties.bootstrap.servers' = 'server1:9092,server2:9092,server3:9092',
>  'properties.group.id' = 'testGroup',
>  'scan.startup.mode' = 'earliest-offset',
>  'debezium-json.schema-include' = 'true',
>  'format' = 'debezium-json'  
> );
[INFO] Execute statement succeed.

Flink SQL> select * from userscoressink_debezium_meta;
+----+-------------------------+-------------------------+----------------+--------------+---------------+--------------------------------+------------------+--------+
| op |               origin_ts |              event_time |origin_database |origin_schema |  origin_table |              origin_properties |             name | scores |
+----+-------------------------+-------------------------+----------------+--------------+---------------+--------------------------------+------------------+--------+
| +I | 2024-01-20 02:17:48.975 | 2024-01-20 02:17:48.972 |        cdctest |       (NULL) |userscoressink | {query=null, thread=null, s... |             alan |   80.0 |
| +I | 2024-01-20 02:17:48.976 | 2024-01-20 02:17:48.976 |        cdctest |       (NULL) |userscoressink | {query=null, thread=null, s... |         alanchan |  100.0 |
| +I | 2024-01-20 02:17:48.977 | 2024-01-20 02:17:48.976 |        cdctest |       (NULL) |userscoressink | {query=null, thread=null, s... |      alanchanchn |  109.0 |
| +I | 2024-01-20 02:29:10.512 | 2024-01-20 02:21:16.000 |        cdctest |       (NULL) |userscoressink | {query=null, thread=null, s... |        alan_test |  666.0 |
| -U | 2024-01-20 02:29:32.785 | 2024-01-20 02:21:38.000 |        cdctest |       (NULL) |userscoressink | {query=null, thread=null, s... |        alan_test |  666.0 |
| +U | 2024-01-20 02:29:32.785 | 2024-01-20 02:21:38.000 |        cdctest |       (NULL) |userscoressink | {query=null, thread=null, s... |        alan_test |  888.0 |
| -D | 2024-01-20 02:29:56.886 | 2024-01-20 02:22:02.000 |        cdctest |       (NULL) |userscoressink | {query=null, thread=null, s... |        alan_test |  888.0 |
| +I | 2024-01-20 02:53:49.248 | 2024-01-20 02:45:55.000 |        cdctest |       (NULL) |userscoressink | {query=null, thread=null, s... | test_alanchanchn |  199.0 |
| -U | 2024-01-20 02:53:55.424 | 2024-01-20 02:46:01.000 |        cdctest |       (NULL) |userscoressink | {query=null, thread=null, s... | test_alanchanchn |  199.0 |
| +U | 2024-01-20 02:53:55.424 | 2024-01-20 02:46:01.000 |        cdctest |       (NULL) |userscoressink | {query=null, thread=null, s... | test_alanchanchn |  299.0 |
| -D | 2024-01-20 02:53:59.522 | 2024-01-20 02:46:05.000 |        cdctest |       (NULL) |userscoressink | {query=null, thread=null, s... | test_alanchanchn |  299.0 |
Query terminated, received a total of 11 rows

4、Format 参数

Flink 提供了 debezium-avro-confluent 和 debezium-json 两种 format 来解析 Debezium 生成的 JSON 格式和 Avro 格式的消息。
请使用 debezium-avro-confluent 来解析 Debezium 的 Avro 消息，
使用 debezium-json 来解析 Debezium 的 JSON 消息。

1）、Debezium Avro

在这里插入图片描述

2）、Debezium Json

在这里插入图片描述

5、数据类型映射

截至Flink 1.17 版本，Debezium Format 使用 JSON Format 进行序列化和反序列化。有关数据类型映射的更多详细信息，请参考 JSON Format 文档 和 Confluent Avro Format 文档。

6、注意事项

1）、重复的变更事件

在正常的操作环境下，Debezium 应用能以 exactly-once 的语义投递每条变更事件。在这种情况下，Flink 消费 Debezium 产生的变更事件能够工作得很好。 然而，当有故障发生时，Debezium 应用只能保证 at-least-once 的投递语义。可以查看 Debezium 官方文档 了解更多关于 Debezium 的消息投递语义。 这也意味着，在非正常情况下，Debezium 可能会投递重复的变更事件到 Kafka 中，当 Flink 从 Kafka 中消费的时候就会得到重复的事件。 这可能会导致 Flink query 的运行得到错误的结果或者非预期的异常。因此，建议在这种情况下，将作业参数 table.exec.source.cdc-events-duplicate 设置成 true，并在该 source 上定义 PRIMARY KEY。 框架会生成一个额外的有状态算子，使用该 primary key 来对变更事件去重并生成一个规范化的 changelog 流。

2）、消费 Debezium Postgres Connector 产生的数据

如果你正在使用 Debezium PostgreSQL Connector 捕获变更到 Kafka，请确保被监控表的 REPLICA IDENTITY 已经被配置成 FULL 了，默认值是 DEFAULT。 否则，Flink SQL 将无法正确解析 Debezium 数据。

当配置为 FULL 时，更新和删除事件将完整包含所有列的之前的值。当为其他配置时，更新和删除事件的 “before” 字段将只包含 primary key 字段的值，或者为 null（没有 primary key）。 你可以通过运行 ALTER TABLE REPLICA IDENTITY FULL 来更改 REPLICA IDENTITY 的配置。 请阅读 Debezium 关于 PostgreSQL REPLICA IDENTITY 的文档 了解更多。

以上，本文详细的介绍了Flink sql client通过debezium解析cdc数据同步至kafka的使用过程。

本专题文章分为如下几篇：

37、Flink 的CDC 格式：debezium部署以及mysql示例（1）-debezium的部署与示例
37、Flink 的CDC 格式：debezium部署以及mysql示例（2）-Flink 与Debezium 实践
37、Flink 的CDC 格式：debezium部署以及mysql示例（完整版）

一瓢一瓢的饮 alanchanchn
关注
  • 22
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
37、Flink 的CDC 格式：debezium部署以及mysql示例（完整版）
alanchanchn的专栏
01-26 1万+
Debezium是一个 CDC（Changelog Data Capture，变更数据捕获）的工具，可以把来自 MySQL、PostgreSQL、Oracle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到 Kafka 中。Debezium 为变更日志提供了统一的格式结构，并支持使用 JSON 和 Apache Avro 序列化消息。
37、Flink 的CDC 格式：debezium部署以及mysql示例（1）-debezium的部署与示例
热门推荐
alanchanchn的专栏
01-25 1万+
Debezium是一个 CDC（Changelog Data Capture，变更数据捕获）的工具，可以把来自 MySQL、PostgreSQL、Oracle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到 Kafka 中。Debezium 为变更日志提供了统一的格式结构，并支持使用 JSON 和 Apache Avro 序列化消息。
flink-sql-connector-mysql-cdc-2.3.0.jar
07-05
flink同步mysql数据库所用包
postgres-cdc-flink:使用Debezium流式传输PostgreSQL CDC，并使用Flink使用状态流进行充实
04-10
使用Flink丰富Kafka流与另一个流 环境设定 安装PostgreSQL 11+ 设置PostgreSQL以允许使用pgoutput将Debezium转换为CDC。 参考 在您的机器/集群上设置Apache Kafka（使用Kafka Connect） 从安装Debezium PostgreSQL连接器 运行Apache Kafka和Kafka Connect 在PostgreSQL中创建表transactions和customers （SQL文件） 使用请求主体向您的Kafka Connect REST接口创建POST请求，如下所示 { " name " : " postgres_cdc " , " config " : { " connector.class " : " io.debezium.connector.postgresql.PostgresCon
Flink CDC 的 debezium-json 格式和 debezium 原生格式是一回事吗？
最新发布
Laurence 的技术博客
04-16 1414
这是一个很容易混淆和误解的问题，值得拿出来讨论对比一下。我们知道 Debezium 是专门用于捕获 CDC 数据的开源框架，它对接了多种数据库，同时也定义了自己的 CDC 数据交换格式，也就是常说的 `debezium` 格式。而Flink CDC 复用了 Debezium 的部分功能，也就是说：Debezium 是 Flink CDC 的底层采集工具，Flink CDC 的工程依赖会用使用到 Debezium 的 Jar 包，然后 Flink CDC 在 Debezium 基础之上，封装了额外的功能，
flink-connector-debezium:此项目主要应用于数据中台或数据平台的数据总线，支持直接实时监听MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra等数据库的数据变更
05-31
Flink-connector-debezium 基于Red Hat开源的Debezium组件，和Flink结合，实现在Flink上直接监听各种数据库的Change Log，并且能够利用Flink的特性，输出到不同的位置上，以实现数据总线和实时数仓的构建。此项目主要应用于数据中台或数据平台中数据总线的基础底座。 目前Debezium支持了MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra。理论上此连接器也支援以上所有数据库。 Getting Started mvn clean package -DskipTests example 参考DebeziumSourceITCase
Flink实战-（6）FlinkSQL实现CDC
Carson073的博客
04-26 2628
下载改JAR包，把它加到Flink下的lib路径下，然后重启sql-client；上传相关的依赖包，这几个包在网上很容易找到。进入Flink的lib目录。启动 Flink客户端。
【硬刚大数据】大数据同步工具之FlinkCDC/Canal/Debezium对比
微信搜：import_bigdata，大数据领域硬核原创作者
10-23 8491
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》 前言 数据准实时复制（CDC）是目前行内实时数据需求大量使用的技术，随着国产化的需求，我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发，逐步实现对商..
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器 Flink CDC连接器是Apache Flink的一组源连接器，使用更改数据捕获（CDC）从不同的数据库中提取更改。 Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 进一步了解什么是 。 本自述文件旨在简要介绍Flink CDC连接器的核心功能。 有关详细文档，请参阅。 支持（经过测试）的连接器 数据库 版 MySQL 数据库：5.7，8.0.x JDBC驱动程序：8.0.16 PostgreSQL 数据库：9.6，10，11，12 JDBC驱动程序：42.2.12 产品特点 支持读取数据库快
Flink CDC、OGG、Debezium等基于日志开源CDC方案对比
白杨Shayne的博客
06-17 4535
CDC 的全称是，在广义的概念上，只要能捕获数据变更的技术，我们都可以称为 CDC。我们目前通常描述的CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。
FlinkCdc--Debezium实现Kafka实时监控mysql binlog日志
atguigu_Jack的博客
11-23 3754
不管是什么大数据组件大部分都分单机和集群模式，这次我配置的是kafka集群监控mysql binlog日志 一.Zookeeper和Kafka集群部署 我的服务器是三台节点aliyun-bigdata-01aliyun-bigdata-02aliyun-bigdata-03 1.第一步实现kafka集群部署和zookeeper集群部署先启动zookeeper再启动kafka,涉及的相关组件如下图所示，去网盘下载 debezium-connector-mysql-1.4.0.Final-p...
flink-connector-mysql-cdc-2.2
03-25
Flink CDC Connectors 2.2源码修改，适配Flink 1.14.2（MySQL）
Flink SQL CDC 实践以及一致性分析
Ververica的博客
03-10 3750
摘要：本文由民生银行王健、文乔分享，主要介绍民生银行 Flink SQL CDC 实践以及一致性分析。内容包括：背景什么是 Flink SQL CDC ConnectorsFlink SQ...
Flink 1.11.1:table sql支持cdc debezium数据源下的Interval Join
高矮
12-09 1068
Flink:1.11.1 目的 Flink SQL CDC 模式输出的Json类型数据不支持 Interval Join，由于Interval Join只支持 append-only 的表，所以这里需要修改CDC模式debezium组件的输出格式，适配支持Table Interval Join 实现 这里我们通过新增一个format的形式来适配Interval Join,取名为’insert-debezium-json’，这里需要新建两个class文件如下： DebeziumJsonDeserizat.
Flink 实现 MySQL CDC 动态同步表结构
cloudbigdata的博客
01-25 1万+
作者：陈少龙，腾讯 CSIG 高级工程师使用 Flink CDC（Change Data Capture) 实现数据同步被越来越多的人接受。本文介绍了在数据同步过程中，如何将 Schema...
Debezium-Flink-Hudi：实时流式CDC
ZacksTang的博客
05-25 1845
目录 1. 什么是Debezium 2. Debezium常规使用架构 3. 部署Debezium 3.1. AWS EKS部署Kafka Connector 4. Flink 消费Debezium 类型消息 5. 写入Hudi表 5.1. 依赖包问题 5.2. Flink 版本问题 6. Flink消费Debezium与写入Hudi测试 7. 验证hudi表 8. 总结 References 1. 什么是Debezium Debezium是一个开源的分布式平台，用于捕捉变化数据
Flink CDC 核心组件 Debezium 1.8.0.Beta1 发布！多个重磅特性解读！
大数据星球-浪尖
12-04 870
我很高兴地宣布 Debezium1.8.0.Beta1的发布！此版本包含令人兴奋的新功能，例如对 MongoDB 5.0 的支持、MongoDB 连接器的发件箱事件路由器和对 Postg...
CDC工具之Debezium
datacreating的博客
11-30 5895
Debezium是一组分布式服务，用于捕获数据库中的更改，以便您的应用程序可以看到这些更改并做出响应。
flink-sql-connector-mysql-cdc下载
09-06
要下载Flink SQL Connector for MySQL CDC，您可以按照以下步骤进行操作： 1. 首先，您需在您的项目中添加Flink SQL Connector for MySQL CDC的依赖项。可以使用Maven或Gradle构建工具来完成这一步骤。在您的项目配置文件中，将以下代码添加到依赖项部分： ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-sql-connector-mysql-cdc_2.11</artifactId> <version>1.13.1</version> </dependency> ``` 2. 在使用Flink SQL Connector for MySQL CDC之前，您需要确保已经安装并启动了Flink集群。您可以从Flink官方网站下载并按照安装说明进行安装。 3. 下一步是配置MySQL的Change Data Capture (CDC)。您可以在MySQL的配置文件中启用CDC功能，并配置要监视的数据库表。具体配置项可能会因MySQL版本而有所不同，您可以参考MySQL的官方文档或相关教程进行操作。 4. 配置完CDC后，您可以使用Flink的Table API或SQL语句来读取CDC的数据。可以使用`TableEnvironment`对象来创建与MySQL CDC连接，并定义CDC表。以下是一个示例代码片段： ```java // 创建Flink Table环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); // 注册MySQL CDC Connector String ddl = "CREATE TABLE mysql_cdc_table (..., PRIMARY KEY (id)) " + "WITH (...properties...) "; tableEnv.executeSql(ddl); // 查询CDC数据 String query = "SELECT * FROM mysql_cdc_table"; Table result = tableEnv.sqlQuery(query); // 打印查询结果 tableEnv.toRetractStream(result, Row.class).print(); // 执行作业 env.execute(); ``` 这样，您就可以下载、配置和使用Flink SQL Connector for MySQL CDC来处理MySQL的Change Data Capture数据了。若需要进一步了解和使用该连接器的更多功能，建议参考官方文档或相关教程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一瓢一瓢的饮 alanchanchn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值