flink
文章平均质量分 89
HolyCode_
大厂架构 | 代码摄手 | BUG 猎人
分享生活工作相关
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
flink AsyncWaitOperator 采坑 java.io.EOFException: No more bytes left
AsyncWaitOperator中没有显示使用自定义state,但是AsyncWaitOperator在执行快照时,其实会把异步队列中的数据序列化保存到state中,所以这里显然是input对象中新增了一个double类型导致异步数据从state中序列化失败,从而导致从state恢复失败。最终这里去掉@Builder后,重新编译,@Data就能生成无参构造器,符合POJO的规则 ,能够被flink POJO序列化器直接序列化支持扩展,所以这里就是踩了@Builder的坑,原创 2022-10-16 00:15:00 · 1674 阅读 · 0 评论 -
flink TestHarnessUtil框架源码初析
这里的output方法,已经在前面setup初始化,替换为MockOutPut(org.apache.flink.streaming.util.AbstractStreamOperatorTestHarness#setup),所以在执行function的process方法时,结果会保存在org.apache.flink.streaming.util.AbstractStreamOperatorTestHarness#outputList。底层用到了 java.util.Arrays#deepEquals。原创 2022-10-11 22:19:02 · 640 阅读 · 0 评论 -
flink中vcore概念怎么理解?
这是因为集群中可能不是所有的机器都是同一种规格的,有的cpu处理能力强,有的弱。假设性能强的一个physical core计算能力相当于弱的3倍,这个时候,可以指定处理能力强的那个cpu一个physical core为3个vcore,而弱的一个physical core为1个vcore,分配资源的如果需要提供6个vcore,那计算能力强的那个只需要提供2个physical core即可,达到了负载均衡的效果,更加合理的利用了资源。原创 2022-09-22 22:59:04 · 1216 阅读 · 0 评论
分享