Flink实时同步数据-包含多表DDL

多表同步(可自动创建ODS表,并同步DDL和DML操作)

  1. 准备数据
    test_cdc person tmp_table
    手动编译依赖包,需要去掉 scope内容后重新打包
    flink-doris-connector-1.16-1.5.0-SNAPSHOT.jar
    放入flink的lib目录下
  2. 配置脚本
    vim sync.sh文件
./bin/flink run \
    -Dexecution.checkpointing.interval=10s \
    -Dparallelism.default=1 \
    -c org.apache.doris.flink.tools.cdc.CdcTools \
lib/flink-doris-connector-1.16-1.5.0-SNAPSHOT.jar \
    mysql-sync-database \
    --database demo \
	--table-prefix ods_
    --mysql-conf hostname=192.168.6.92 \
    --mysql-conf username=root \
    --mysql-conf password=1qaz@WSX \
    --mysql-conf database-name=test \
    --including-tables "test_cdc|person|tmp_table" \
    --sink-conf fenodes=192.168.6.91:8030 \
    --sink-conf username=root \
    --sink-conf password=1qaz@WSX \
    --sink-conf jdbc-url=jdbc:mysql://192.168.6.91:9030 \
    --sink-conf sink.label-prefix=label \
    --table-conf replication_num=1 

3.执行任务

chmod +x sync_job.sh
sh sync_job.sh
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值