问题现象
使用 RTsync 同步 db2 中的一张表与 gbase 中的表数据条数不一致,gbase 中多了
500 多条数据。
解决方法:
通过比对发现是 gbase 中没有正确删除部分数据导致,对异常部分的数据进行分析
发现没有删掉的数据都是联合主键中其中一个字段包含了空值导致。
rtsync 生产的消息,isColValNull 永远是 false,所以 consumer 按照 not null 来
处理,导致问题现象。设置 consumer 参数_t_gcluster_kafka_null_transform=1,
这样 consumer 会判断 kafka 消息的数据如果是 A="",会自动认为 A is null,然后
按照 null 的逻辑来处理。
consumer
消费
kafka
数据时超长字段无法正常消费
问题现象
在 GBase8a consumer 组件消费 kafka 消息时,由于不明原因出现消息数据源出现
乱码,其长度超出 8a 定义的字段长度(数据类型为 varchar 类型字段),导致该
数据在消费过程中由于字段长度超长无法被 8a 正常消费入库,会停止消费并报相
应的错误信息
解决方法:
设置_t_kafka_varchar_auto_truncate=1