CDCSOURCE 整库同步

CDCSOURCE 是 Dinky 封装的新功能，Apache Flink 源码不包含，非 Application 模式提交需要在远程 Flink 集群所使用的依赖里添加一下依赖：

# 将下面 Dinky根目录下 整库同步依赖包放置 $FLINK_HOME/lib下
lib/dlink-client-base-${version}.jar
lib/dlink-common-${version}.jar
plugins/flink-${flink-version}/dlink-client-${version}.jar

dlink-client-1.14-0.7.3.jar
dlink-client-base-0.7.3.jar
dlink-common-0.7.3.jar

Application 作业提交

    目前已经支持 application ，需提前准备好相关 jar 包，或者和 add jar 语法并用。以 mysqlcdc-2.3.0 和 flink-1.14 为例，需要以下 jar：

flink-shaded-guava-18.0-13.0.jar
HikariCP-4.0.3.jar
druid-1.2.8.jar
dlink-metadata-mysql-0.7.2.jar
dlink-metadata-base-0.7.2.jar
jackson-datatype-jsr310-2.13.4.jar
flink-sql-connector-mysql-cdc-2.3.0.jar
dlink-client-1.14-0.7.2.jar

sql server 需要 flink-sql-connector-sqlserver-cdc-2.3.0.jar

大部分包都可以找到

 上传到flink lib目录下

一个 FlinkSQL 任务只能写一个 CDCSOURCE，CDCSOURCE 前可写 set、add jar 和 ddl 语句。

配置项中的英文逗号前不能加空格，需要紧随右单引号。

备注：需要在Doris里创建要导入的表

先测试MySQL到Doris

EXECUTE CDCSOURCE demo_doris WITH (

  'connector' = 'mysql-cdc',

  'hostname' = '192.168.1.244',

  'port' = '3306',

  'username' = 'root',

  'password' = '123456',

  'checkpoint' = '10000',

  'scan.startup.mode' = 'initial',

  'parallelism' = '1',

  'table-name' = 'flink_test\.student,flink_test\.score',

  'sink.connector' = 'doris',

  'sink.fenodes' = '192.168.1.246:8030',

  'sink.username' = 'root',

  'sink.password' = '',

  'sink.doris.batch.size' = '1000',

  'sink.sink.max-retries' = '1',

  'sink.sink.batch.interval' = '60000',

  'sink.sink.db' = 'flink_test',

  'sink.sink.properties.format' ='json',

  'sink.sink.properties.read_json_by_line' ='true',

  'sink.table.identifier' = '${schemaName}.${tableName}',

  'sink.sink.label-prefix' = '${schemaName}_${tableName}_5'

);

自动同步列新增和删除列，库表名需要与源库相同。

EXECUTE CDCSOURCE demo_doris_schema_evolution  WITH (

  'connector' = 'mysql-cdc',

  'hostname' = '192.168.1.244',

  'port' = '3306',

  'username' = 'root',

  'password' = '123456',

  'checkpoint' = '10000',

  'scan.startup.mode' = 'initial',

  'parallelism' = '1',

  'table-name' = 'flink_test\.student,flink_test\.score',

  'sink.connector' = 'datastream-doris-schema-evolution',

  'sink.fenodes' = '192.168.1.246:8030',

  'sink.username' = 'root',

  'sink.password' = '',

  'sink.doris.batch.size' = '1000',

  'sink.sink.max-retries' = '1',

  'sink.sink.batch.interval' = '60000',

  'sink.sink.db' = 'flink_test',

  'sink.sink.properties.format' ='json',

  'sink.sink.properties.read_json_by_line' ='true',

  'sink.table.identifier' = '${schemaName}.${tableName}',

  'sink.sink.label-prefix' = '${schemaName}_${tableName}_6'

);

ALTER TABLE student ADD COLUMN gender VARCHAR(10) DEFAULT '0';

在mysql里修改表结构发现doris里没有变化，已确认mysql 已开启binlog能力，主要看doris这边建表的问题，具体如下：

Light Schema Change 是 Doris 最新的一种在线进行加减列或修改列的实现方案，相对于其之前支持的 3 种 Schema Change 方式，Light Schema Change 具备解决 Schema 不一致问题、全局 Schema Cache、支持物化视图、解决数据重写问题的优势，由于其只修改了 FE 的元数据，通过对 BE 读写流程进行修改来支持获取正确的 Schema 信息，性能便达到毫秒级别，这也为在实时整库同步时同步变更 Schema 提供了基础。

重新构建表 

注意以下问题：

测试期间遇到以下2个问题如下，暂时无解，具体如下：

1、Mysql to Doris  数据可以正常同步，但是 表结构发生变化后无法正常同步，会报 = 无法识别的问题，说是sql格式的问题，但页面检测没有问题，暂时无解

2、测试SQLserver 到 Doris的功能，暂时无法使用，会报SQL server没有开启CDC功能，但实际上已开启