多表同步(可自动创建ODS表,并同步DDL和DML操作)
- 准备数据
test_cdc person tmp_table
手动编译依赖包,需要去掉 scope内容后重新打包
flink-doris-connector-1.16-1.5.0-SNAPSHOT.jar
放入flink的lib目录下 - 配置脚本
vim sync.sh文件
./bin/flink run \
-Dexecution.checkpointing.interval=10s \
-Dparallelism.default=1 \
-c org.apache.doris.flink.tools.cdc.CdcTools \
lib/flink-doris-connector-1.16-1.5.0-SNAPSHOT.jar \
mysql-sync-database \
--database demo \
--table-prefix ods_
--mysql-conf hostname=192.168.6.92 \
--mysql-conf username=root \
--mysql-conf password=1qaz@WSX \
--mysql-conf database-name=test \
--including-tables "test_cdc|person|tmp_table" \
--sink-conf fenodes=192.168.6.91:8030 \
--sink-conf username=root \
--sink-conf password=1qaz@WSX \
--sink-conf jdbc-url=jdbc:mysql://192.168.6.91:9030 \
--sink-conf sink.label-prefix=label \
--table-conf replication_num=1
3.执行任务
chmod +x sync_job.sh
sh sync_job.sh