![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
中间件
一只忧伤的数据猿
这个作者很懒,什么都没留下…
展开
-
为什么canal数据只推送到kafka topic的其中一个分区中
也许当你发现使用canal获取binlog数据后,也正常的推送到kafka中去。由于数据量较大,对kafka的topic进行了多分区设置。但是当你查询该topic数据时,发信数据都在其中一个分区内(0分区)。这个问题该怎么解决呢?! 当我遇到这个问题时,第一个想到的是不是kafka配置topic的设置问题。后来排查发现不是,那么就只能是canal的配置问题了。 因此,我又一次把instance...原创 2020-04-28 20:41:46 · 2679 阅读 · 1 评论 -
canal连接RDS MySQL binlog报错收集及解决办法
如果canal获取不到binlog的数据,可以去查看canal目录下的 logs/example/example.log 日志数据。 在项目中我遇到以下错误,记录并分享。希望对你有帮助~ 错误一: Caused by: java.io.IOException: ErrorPacket [errorNumber=1142, fieldCount=-1, message=SHOW comm...原创 2020-04-21 20:57:21 · 2250 阅读 · 2 评论 -
Canal1.1.4实时获取RDS MySQL binlog数据推送到Kafka
前言: 现在不少公司的业务数据都储存在阿里云的MySQL数据库中。其中有些数据储存在RDS中,这个与传统的关系型数据库连接配置又略有不同。 当前文档基于1.1.4版本的canal去实时获取RDS库的binlog日志,在把数据实时同步到Kafka中,通过flink进行逻辑处理,解析json数据,拼接成sql写入到我们自己的分布式数据库clickhouse中。 点击了解RDS:https:...原创 2020-04-22 10:08:19 · 2334 阅读 · 1 评论