flink源码笔记-待整理

wulei.cnvip

已于 2022-09-15 13:29:08 修改

阅读量196

点赞数

分类专栏： Apache Flink 原理和实践文章标签： flink scala 大数据

于 2020-03-13 11:25:00 首次发布

本文链接：https://blog.csdn.net/wuleidaren/article/details/106395561

版权

Apache Flink 原理和实践专栏收录该内容

19 篇文章 3 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文探讨了Flink的入口类CliFrontend，重点关注了配置参数如detach模式和并行度设置。在分析JobGraph和ScheduleMode时，遇到了WindowWordCount启动的超时错误。错误并非由网络导致，而是由于断点未释放。通过深入HeartBeatManagerImpl的源码，发现了超时处理机制。解决办法包括调整akka.ask.timeout和web.timeout配置。

摘要由CSDN通过智能技术生成

入口类CliFrontend

LinkedHashMap accessOrder default=false=insertion-order

System.setOut 重定向输出流

getManiFest get main class

-d detach模式， false 可以运行任务后无需再控制台保持连接

JobID implement Comparable 内部实现compareTo

parallelism默认传参是-1 ，但是会default为1，区分正在传入的1吧

JobGraph -> JobVertex, ScheduleMode(LAZY/EAGER)

WindowWordCount 启动报错：

Connected to the target VM, address: '127.0.0.1:50957', transport: 'socket'
Executing WindowWordCount example with default input data set.
Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
Exception in thread "main" org.apache.fli

了解本专栏