FLink问题排查
wuxuyang_7788
这个作者很懒,什么都没留下…
展开
-
我提交的第一个Flink commit - Flink 闭包检查
为什么闭包 Flink中算子都是通过序列化分发到各节点上,所以要确保算子对象是可以被序列化的。算子的成员变量,代码中的匿名内部类都是检查的范围。 闭包检查入库 被调用的入口是 StreamExecutionEnvironment#clean() 而真正执行闭包检查的是ClosureCleaner#clean()代码不复杂。我们之间看代码来分析 private static void clean(Object func, ExecutionConfig.ClosureCleanerLevel level, b原创 2020-10-23 09:16:16 · 601 阅读 · 5 评论 -
一个由于JAR冲突导致的Flink checkpoint失败的问题
开门见山 上报错 2020-03-05 16:30:08,219 WARN org.apache.hadoop.hdfs.DFSClient - DataStreamer Exception javax.xml.parsers.FactoryConfigurationError: Provider for class javax.xml....原创 2020-03-05 17:18:50 · 599 阅读 · 0 评论