![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
cdc
文章平均质量分 81
数据对导工具
扫地增
莫问,问就是无敌
展开
-
Flink CDC报The connector is trying to read binlog starting at xxx but this is no longer available问题解决
在FlinkCDC的issues,我见到了比较多的人提了问题,官方建议mysql 侧 binlog文件日期保留长点但是,依然解决不了问题。并且对于读账号问题10s问题阿里云官方并未说明,笔者也是咨询大佬才了解到。社区有人建议试试加这个配置笔者尚未实践,之后考虑加一下试试。如果大家和笔者一样实在没有办法就选择重启吧。FlinkCDC对这个问题的优化并没有很好。原创 2023-06-09 13:30:36 · 2481 阅读 · 5 评论 -
Sqoop import GC overhead limit exceeded 或者 Halting due to Out Of Memory Error解决思路
最近笔者在公司为公司搭建大数据集群已经小有成果,基本服务已经打通,也做了不少线上任务,但是在任务开发的过程中发现使用sqoop导数据经常会遇到资源不足导致报错,由于sqoop是java开发,虽然以前对这种问题屡见不鲜,但是在大数据集群中这些资源问题就显得特别多OOM,、甚至有时候还会出现GC的问题。笔者特此总结希望对大家有所帮助。原创 2022-09-23 18:12:35 · 1354 阅读 · 1 评论 -
如何不替换驱动jar包解决旧版本mysql驱动引起的No columns to generate for ClassWriter问题
bug解决的核心还是日志+理论。加油吧兄弟萌!原创 2022-08-04 14:31:30 · 685 阅读 · 1 评论