![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
stcode
这个作者很懒,什么都没留下…
展开
-
Flink的State与Rescale
Flink的State与Rescale本文是关于对flink状态在任务rescale下面对的问题以及解决这些问题的设计以及代码实现状态状态类别flink中的状态主要分为两类, Keyed State和Operator State。其中Opertor State是以Operator 实例为粒度的状态,而Keyed State是以数据的key为粒度的,该key被划分到哪个Operator实例决定了这个Key的state在哪个Operator实例,而一个Operator实例是可以同时管理多个Keyed S原创 2020-08-09 11:34:50 · 854 阅读 · 0 评论 -
Flink heartbeat逻辑梳理
背景最近看了一个flink相关的issue,主要是在heartbeat来带上TaskManager的status作为payload,主要是为了解决TaskExecutor#updateTaskExecutionState会因为暂时的网络异常原因导致将TM的状态通知到JM失败的问题,如果是terminal state的通知失败会导致JM无法感知TM的结束。具体讨论细节请看issueissue地址: https://issues.apache.org/jira/browse/FLINK-17075flin原创 2020-07-14 11:28:48 · 468 阅读 · 0 评论 -
flink on yarn启动流程分析
本文主要分析提交一个flink on yarn的任务的流程,以job模式为例子CliFront作为提交命令行的入口一个命令行runJob的整体调用链路如下run -> runProgram -> executeProgram -> ClusterClient.run其中yarn相关的流程就在runProgram方法中// 获取激活的customCommandLinefinal CustomCommandLine<?> customCommandLine =原创 2020-07-01 20:04:23 · 620 阅读 · 0 评论 -
Flink本地启动模式用户代码逻辑转换逻辑追踪
Flink本地启动模式用户代码逻辑转换逻辑追踪client部分CliFront作为提交命令行的入口本地模式run调用链路run -> runProgram -> executeProgram -> ClusterClient.run -> prog.invokeInteractiveModeForExecutionExecutionEnvironment部分接下来就是用户代码里的逻辑了,以本地运行为例首先是执行用户调用的DataStream中的各种map re原创 2020-07-01 13:22:59 · 604 阅读 · 0 评论 -
Flink rest接口查询metric的整体链路
Flink metrics最近根据flinkUI的接口追踪了一下blink的metric信息的查询过程,在这里记录一下入口首先我这里的入口指的是flink UI中的/jobs/:jobid这个rest接口,具体处理逻辑是在JobDetailsHandler,JobDetailsHandler的注册以及与path的绑定可以看WebMonitorEndpoint部分,这一块不是本文的具体内容,其中查询的逻辑为JobDetailsHandler.handleRequest。protected JobDet原创 2020-06-10 20:42:58 · 722 阅读 · 0 评论