doris通过Binlog Load实时同步mysql数据(Binlog Load只能支持Unique类型的目标表,且必须激活目标表的Batch Delete功能。)

1.首先开启mysql的binlog

2.然后安装canal(确保doris集群和安装canal的机器是可以通的)

   canal下载地址:https://github.com/alibaba/canal/releases/tag/canal-1.1.6 

划到页面最下面下载(我下载的是linux版本):

 然后修改 /usr/local/canal-1.1.6/conf/example/instance.properties 文件(其实example这个文件夹可以自己修改名称,这里我就用的默认的)

 基础的修改内容如下(箭头指的是我改的部分,其他的配置项我没修改都是默认):

 最后执行这个脚本开启服务

查看这个文件,只要没有报错就是启动成功,也可以通过 netstat -anp | grep 11111 这个命令查看11111端口是否开启来判断是否成功,或者jps查看进程验证是否成功

 3.要同步mysql的数据到doris首先要开启doris的batch delete功能,在doris中执行:ALTER TABLE test.test1 ENABLE FEATURE "BATCH_DELETE";

而且要在fe.conf中增加配置项: enable_create_sync_job=true,然后重启doris的fe

 

 然后在doris中建job(可以同步一张表,也可以同步多张表):

CREATE SYNC test.`job1`
(
FROM test.test1 INTO test1
)
FROM BINLOG
(
"type" = "canal",
"canal.server.ip" = "172.16.0.236",
"canal.server.port" = "11111",
"canal.destination" = "example",
"canal.username" = "canal",
"canal.password" = "canal"
);

然后查看job状态:SHOW SYNC JOB FROM `test`;

 最后去mysql修改数据进行测试

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值