Dinky+Flink cdc同步doris数据不成功问题解决

最新推荐文章于 2025-03-13 16:41:33 发布

斯同

最新推荐文章于 2025-03-13 16:41:33 发布

阅读量1k

点赞数 6

文章标签： flink 大数据

本文链接：https://blog.csdn.net/weixin_43974943/article/details/135741555

版权

文章讲述了在使用Doris进行数据同步时遇到的问题，发现Doris与MySQL同步的区别在于Doris需要设置checkpoint，这是由于其最小写入粒度为5秒。作者强调养成查看官方文档的习惯，最终在官网上找到解决方案，解决了数据同步不发送字节的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、目前环境：dinky0.7.5 + flink 1.17.2 ，任务提交是成功了，dinky建doris查询表任务也是可以获取数据的，mysql 同步mysql是正常的，mysql 同步doris 就没有发送字节。
2、网上各种博客文章中大多没有说明Doris同步数据时需要设置checkpoint，mysql同步mysql不需要设置即可实时同步，我想是因为Doris的关系，之前听doris社区开发人员说doris最小写入粒度5s,设置以下参数即可成功。—PS：啰嗦一句，开完组件应用一定一定一定要看官网，养成看官网的习惯，这个问题卡了两三天，通过社区人员指点在官网中找到了答案。
在这里插入图片描述