[实时计算flink]CREATE DATABASE AS（CDAS）语句

最新推荐文章于 2025-01-14 20:01:09 发布

soso1968

最新推荐文章于 2025-01-14 20:01:09 发布

阅读量1.2k

点赞数 20

文章标签： flink 数据库大数据

本文链接：https://blog.csdn.net/segwy/article/details/142653833

版权

CDAS支持整库级别的表结构和数据的实时同步，还支持表结构变更的同步。本文为您介绍CREATE DATABASE AS（CDAS）的使用方法，并提供了多种使用场景下的示例。

背景信息

CDAS是CTAS语法的一个语法糖，用于实现整库同步、多表同步的功能。阿里云Flink引擎会将CDAS语句中每个需要同步的表翻译成一个对应的CTAS语句。因此，CDAS还拥有CTAS的数据同步和表结构变更同步的能力，常用于全自动化的数据集成场景。此外，阿里云Flink还能对源表进行优化，复用一个源表节点读取多业务表的数据。这对于MySQL CDC数据源场景尤为适用，因为不仅可以减少数据库的连接数，还能避免重复拉取Binlog数据，以降低数据库的读取压力。

使用限制

仅Flink计算引擎vvr-4.0.11-flink-1.13及以上版本支持CDAS语法。

重要

CDAS语法不支持进行调试。
仅Flink计算引擎vvr-4.0.13-flink-1.13及以上版本支持分库合并同步。

CDAS支持的上下游存储列表如下。

连接器名称	源表	结果表	备注
MySQL	√	×	不支持同步MySQL视图。
消息队列Kafka	√	×	无。
MongoDB	√	×	暂不支持分库合并同步。暂不支持同步MongoDB元信息。支持通过CDAS语句将MongoDB中的数据及表结构变更同步至目标表。具体的配置要求请参见使用MongoDB Catalog。
Upsert Kafka	×	√	无。
实时数仓Hologres	×	√	如果下游是Hologres，CDAS在默认情况下会为每个表创建相应数量（connectionSize参数值）个连接。此时您可以使用connectionPoolName参数，让配置相同名称连接池的表可以共享连接池。说明<