Flink
程序员椰子橙
这个作者很懒,什么都没留下…
展开
-
flink 实现CommonSink,自动生成sql,自动匹配字段值
团队的业务需求,flink实时计算任务在sink polarDb时,每个任务都需要编写实体类sink代码,重复工作浪费时间。 观察之后发现代码可以实现通用sink,代码有重合。 通过泛型传入实体对象,通过反射获取字段名和字段值。 原来的sink代码,如果实体类字段非常多的话,可能要重复编写几十上百行,复杂枯燥且容易出错。 public class EventTopicSink extends RichSinkFunction<EventTopic> { PreparedStatement原创 2021-04-22 18:03:46 · 670 阅读 · 1 评论 -
Exceeded checkpoint tolerable failure threshould【记一次flink上线异常】
最近完成一个业务需求,flink程序上线之后,跑了不到一分钟就挂了,查看日志,报错如下: org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. at org.apache.flink.runtime.... 明显,checkpoint超时了,于是,我下意识地去检查checkpoint的设置, 代码中的设置如下: // 每 ** ms 开始一原创 2021-03-09 10:59:39 · 16381 阅读 · 6 评论