![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式
文章平均质量分 72
stcode
这个作者很懒,什么都没留下…
展开
-
Flink的State与Rescale
Flink的State与Rescale本文是关于对flink状态在任务rescale下面对的问题以及解决这些问题的设计以及代码实现状态状态类别flink中的状态主要分为两类, Keyed State和Operator State。其中Opertor State是以Operator 实例为粒度的状态,而Keyed State是以数据的key为粒度的,该key被划分到哪个Operator实例决定了这个Key的state在哪个Operator实例,而一个Operator实例是可以同时管理多个Keyed S原创 2020-08-09 11:34:50 · 849 阅读 · 0 评论 -
Flink heartbeat逻辑梳理
背景最近看了一个flink相关的issue,主要是在heartbeat来带上TaskManager的status作为payload,主要是为了解决TaskExecutor#updateTaskExecutionState会因为暂时的网络异常原因导致将TM的状态通知到JM失败的问题,如果是terminal state的通知失败会导致JM无法感知TM的结束。具体讨论细节请看issueissue地址: https://issues.apache.org/jira/browse/FLINK-17075flin原创 2020-07-14 11:28:48 · 461 阅读 · 0 评论 -
flink on yarn启动流程分析
本文主要分析提交一个flink on yarn的任务的流程,以job模式为例子CliFront作为提交命令行的入口一个命令行runJob的整体调用链路如下run -> runProgram -> executeProgram -> ClusterClient.run其中yarn相关的流程就在runProgram方法中// 获取激活的customCommandLinefinal CustomCommandLine<?> customCommandLine =原创 2020-07-01 20:04:23 · 609 阅读 · 0 评论 -
Flink本地启动模式用户代码逻辑转换逻辑追踪
Flink本地启动模式用户代码逻辑转换逻辑追踪client部分CliFront作为提交命令行的入口本地模式run调用链路run -> runProgram -> executeProgram -> ClusterClient.run -> prog.invokeInteractiveModeForExecutionExecutionEnvironment部分接下来就是用户代码里的逻辑了,以本地运行为例首先是执行用户调用的DataStream中的各种map re原创 2020-07-01 13:22:59 · 598 阅读 · 0 评论 -
Mesos入门(一)——白皮书阅读
学习mesos前先看看它的白皮书,对它有一个整体上的认知mesos解决的问题mesos的出现主要解决的问题是资源的粒度划分问题,当你在一个集群上跑多个不同的分布式计算框架时,你的资源分配的粒度基本都是以机器作为粒度的,而mesos上则是可以将一台机器分为更加细的粒度原理设计图:http://mesos.apache.org/documentation/latest/archit...原创 2018-03-23 22:17:00 · 962 阅读 · 0 评论 -
mesos入门(三)—— HA模式
搭建高可用的mesos时对原来的项目还是有很大规模的修改的,同时还修改了一些以前遗留的bug简介机器环境[all]192.168.50.4192.168.50.5192.168.50.6192.168.50.7[master]192.168.50.4192.168.50.5192.168.50.6[slave]192.168.50.4192.168.5...原创 2018-03-30 14:57:58 · 592 阅读 · 0 评论 -
mesos入门(二)——简单环境搭建
上一篇文章我们了解了mesos解决的问题以及其大致的原理,这篇文章就开始实战搭建一个mesos实战环境简介具体地址+操作: https://github.com/ncuwaln/mesos-learn环境搭建我们采用vagrant来最大程度的模拟真实环境,采用ansible来进行分布式自动运维环境组成:mesos+docker+marathon,目前暂时只是单master,单z...原创 2018-03-25 17:45:36 · 2567 阅读 · 0 评论 -
mesos入门(四)——docker应用的部署
简易的docker应用部署以及修改了部分启动脚本的bugbug修改在启动了marathon后,我在mesos的webUI上发现marathon一直处于inactive状态,后来想了想,marathon是放在启动master的脚本中了,当它启动时,slave/agent还未启动,所以才会导致framework呈现未激活的状态,所以将在mesos上运行的framework的启动单独做成一个...原创 2018-04-08 11:52:31 · 907 阅读 · 0 评论