Flink CDC Connectors 路由规则详解：实现灵活的数据表映射-CSDN博客

Flink CDC Connectors 路由规则详解：实现灵活的数据表映射

flink-cdc-connectors CDC Connectors for Apache Flink® 项目地址: https://gitcode.com/gh_mirrors/fl/flink-cdc-connectors

什么是路由规则

在 Flink CDC Connectors 中，路由规则(Route)是一种强大的功能，它允许用户定义源表(source-table)与目标表(sink-table)之间的映射关系。这种机制特别适用于需要将多个上游源表合并到同一个下游目标表的场景，比如常见的分库分表合并场景。

路由规则的核心参数

路由规则由三个主要参数构成：

source-table（必填）：源表标识，支持正则表达式匹配
sink-table（必填）：目标表标识，同样支持正则表达式
description（可选）：路由规则的描述信息，便于维护和理解

路由规则的应用场景

场景一：单表到单表的映射

这是最简单的路由场景，将单个源表映射到单个目标表。例如，将 mydb.web_order 表同步到 Doris 的 ods_web_order 表：

route:
  - source-table: mydb.web_order
    sink-table: mydb.ods_web_order
    description: 为web_order表添加ods_前缀

这种配置适用于需要为表名添加前缀、后缀或修改表名的场景。

场景二：多表合并到单表

这是分库分表合并的典型场景，将多个源表合并到一个目标表。例如，将 mydb 库中的所有表合并到 ods_web_order 表：

route:
  - source-table: mydb\.*
    sink-table: mydb.ods_web_order
    description: 将分库分表合并到单一目标表

这里使用了正则表达式 mydb\.* 来匹配 mydb 库下的所有表。注意正则表达式中的点号需要转义(\.)。

场景三：复杂映射规则组合

在实际项目中，我们可能需要为不同的表定义不同的映射规则。例如：

route:
  - source-table: mydb.orders
    sink-table: ods_db.ods_orders
    description: 订单表映射
  - source-table: mydb.shipments
    sink-table: ods_db.ods_shipments
    description: 物流表映射
  - source-table: mydb.products
    sink-table: ods_db.ods_products
    description: 产品表映射

这种配置方式允许我们对不同类型的表采用不同的处理策略，比如：

为不同业务线的表映射到不同的目标库
为敏感数据表添加特殊前缀
将历史表和新表映射到统一的目标表

路由规则的高级用法

正则表达式匹配

路由规则支持强大的正则表达式匹配，可以实现复杂的表名匹配和转换。例如：

route:
  - source-table: mydb\.(order_.*)
    sink-table: ods_db.ods_$1
    description: 使用正则捕获组重命名表

这个配置会将 mydb.order_2023 映射到 ods_db.ods_order_2023，mydb.order_2022 映射到 ods_db.ods_order_2022，依此类推。

多级路由规则

可以定义多级路由规则，实现更复杂的映射逻辑：

route:
  - source-table: mydb\.(user_.*)
    sink-table: ods_db.user_$1
    description: 用户相关表映射
  - source-table: mydb\.(product_.*)
    sink-table: ods_db.product_$1
    description: 产品相关表映射
  - source-table: mydb\.*
    sink-table: ods_db.other_$1
    description: 其他表默认映射