使用flink cdc 的union all语法同步多个源表到一个目标表

Apache Flink 是一款高性能的流处理框架，它支持CDC（Change Data Capture）功能，即变更数据捕获。CDC允许你捕获到数据库中数据的变更（包括增加、更新、删除操作），并将这些变更实时地同步到其他系统或数据仓库中。
Flink CDC Connectors 是 Flink 的一部分，它提供了一系列的连接器，用于从不同的数据库中读取变更数据。目前，Flink CDC Connector 支持从 MySQL、PostgreSQL 等数据库中读取变更数据。
如果你需要将多个源表的数据同步到一个目标表中，你可以使用 Flink 的 SQL API 来实现。以下是一个简化的例子，说明如何使用 Flink CDC Connector 和 SQL API 来实现多个源表同步到一个目标表：

1. 创建 Flink TableEnvironment：

   StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
   StreamTableEnvironment tEnv = StreamTableEnvironment.create(env);
   

2. 设置 Flink CDC Connector：
   为每个源表创建一个 CDC 连接器，并指定数据库的连接信息。例如，从 MySQL 同步数据：

   CREATE TABLE source_table1 (
       id INT,
       name STRING,
       PRIMARY KEY (id) NOT ENFORCED
   ) WITH (
       'connector' = 'mysql-cdc',
       'hostname' = 'localhost',
       'port' = '3306',
       'username' = 'root',
       'password' = 'password',
       'database-name' = 'source_db',
       'table-name' = 'source_table1'
   );
   CREATE TABLE source_table2 (
       id INT,
       address STRING,
       PRIMARY KEY (id) NOT ENFORCED
   ) WITH (
       'connector' = 'mysql-cdc',
       'hostname' = 'localhost',
       'port' = '3306',
       'username' = 'root',
       'password' = 'password',
       'database-name' = 'source_db',
       'table-name' = 'source_table2'
   );
   

3. 创建目标表：
   在目标系统中创建一个表，用来存储同步后的数据。例如，将数据同步到另一个 MySQL 表中：

   CREATE TABLE target_table (
       id INT,
       name STRING,
       address STRING,
       PRIMARY KEY (id) NOT ENFORCED
   ) WITH (
       'connector' = 'jdbc',
       'url' = 'jdbc:mysql://localhost:3306/target_db',
       'table-name' = 'target_table',
       'username' = 'root',
       'password' = 'password'
   );
   

4. 数据同步：
   使用 Flink SQL 的 INSERT INTO 语句将多个源表的数据合并插入到目标表中。如果需要，可以使用 UNION ALL 将多个源表的数据合并起来：

   INSERT INTO target_table
   SELECT id, name, NULL FROM source_table1
   UNION ALL
   SELECT id, NULL, address FROM source_table2;
   

5. 执行 Flink 任务：
   在完成上述步骤后，执行 execute() 方法来启动 Flink 任务：

   env.execute("Flink CDC Sync Job");
   

需要注意的是，以上代码仅作为示例，实际使用时需要根据具体的业务逻辑和需求进行相应的调整。此外，在处理数据同步时，还需要考虑数据一致性问题、错误处理、性能优化等方面。