大数据:canal:配置文件 + 模板

canal.properties

 部分1:canal--common参数

参数参数说明默认值
canal.id每个canal server实例唯一标识,保证每个不同即可,暂无实际意义1
canal.ipserver绑定的本地主机IP信息,默认当前主机
canal.portserver提供socket服务的端口11111
canal.metrics.pull.port 与监控有关11112
canal.zkServerscanal server链接zookeeper集群的链接信息
canal.withoutNetty  
canal.zookeeper.flush.periodcanal持久化数据到zookeeper上的更新频率,单位毫秒1000
canal.file.data.dir =  ${canal.conf.dir}
canal.instance.memory.batch.modecanal内存中数据缓存模式MEMSIZE
       1. ITEMSIZE : 根据buffer.size进行限制,只限制记录的数量
       2. MEMSIZE : 根据buffer.size  * buffer.memunit的大小,限制缓存记录的大小
canal.instance.memory.buffer.sizecanal内存store中可缓存buffer记录数,需要为2的指数  默认2^25616384
canal.instance.memory.rawEntry  TRUE
canal.instance.memory.buffer.memunit内存记录的单位大小和buffer.size组合决定最终的内存使用大小,默认1KB1024
canal.instance.transactionn.size最大事务完整解析的长度支持1024
超过该长度后,一个事务可能会被拆分成多次提交到canal store中,无法保证事务的完整可见性
canal.instance.fallbackIntervalInSecondscanal发生mysql切换时,在新的mysql库上查找binlog时需要往前查找的时间,单位秒 60
说明:mysql主备库可能存在解析延迟或者时钟不统一,需要回退一段时间,保证数据不丢 
canal.instance.detecting.enable是否开启心跳检查FALSE
canal.instance.detecting.sql心跳检查sql  默认 insert into retl.xdual values(1,now()) on duplicate key update x=now()
canal.instance.detecting.interval.time心跳检查频率,单位秒3
canal.instance.detecting.retry.threshold心跳检查失败重试次数3

部分2:canal--destination参数

canal.destinations当前server上部署的instance列表无,例如example1,example2
canal.conf.dirconf/目录所在的路径../conf
canal.auto.scan开启instance自动扫描TRUE
canal.auto.scan.intervalinstance自动扫描的间隔时间,单位秒5
canal.instance.global.mode全局配置加载方式spring
canal.instance.global.lazy全局lazy模式FALSE
canal.instance.global.manager.address全局的manager配置方式的链接信息
canal.instance.global.spring.xml全局的spring配置方式的组件文件classpath:spring/memory-instance.xml 
 (spring目录相对于canal.conf.dir)
canal.instance.example.modeinstance级别的配置定义,如有配置,会自动覆盖全局配置定义模式
canal.instance.example.lazy命名规则:canal.instance.{name}.xxx
canal.instance.example.spring.xml 
canal.instance.tsdb.spring.xmlv1.0.25版本新增,全局的tsdb配置方式的组件文件classpath:spring/tsdb/h2-tsdb.xml (spring目录相对于canal.conf.dir)

配置模板:

 example/instance.properties

canal.mq.flatMessage = true 生产到kafka的消息就是json的, 否则就是protobuf二进制的
 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值