colossus——bigdata的专栏

TaskManagerRunner 启动源码分析 taskmanger TaskManager 是 Flink 的从节点，它负责 Flink 中集群的worker节点上 slot 资源的管理以及具体 task 的执行。TaskManager 上的基本资源单位是 slot，一个作业的 task 最终会部署在一个 TaskManager 的 slot上运行，TaskManager 会负责维护本地的 slot 资源列表，并来与 Flink Master节点 和作业的主节点 JobMaster 通信。 public

jobmanager概览 JobManager 是 Flink 集群的主节点，它包含几大重要的组件： 1、ResourceManager Flink的集群资源管理器，只有一个，关于slot的管理和申请等工作，都由他负责。 2、Dispatcher 负责接收用户提交的 JobGragh, 然后启动一个 JobMaster， 类似于 YARN 集群中的 AppMaster角色，类似于 Spark Job 中的 Driver 角色。 3、WebMonitorEndpoint 里面维护了很多很多的Handler，如

flink运行模式可以划分为session模式和非session模式，session模式下，不需要在任务运行时像外部申请资源，资源的申请和释放都通过flink自己控制，如yarn-session模式，standalone模式，非session模式的资源控制交给外部系统，如application模式，per-job模式。实际上不同模式下最重要的区别是组件运行时机和资源控制权的问题，大部分代码逻辑相差不大。这里的session模式以standalone模式为例，非session模式以application模式为

flink使用akka作为底层RPC框架，实际上flink只是在组件之间的通信使用了akka，而task之间的数据传输使用的是netty框架。 Akka简介 akka通信框架有如下特点： 1、ActorSystem 是管理 Actor 生命周期的组件， Actor 是负责进行通信的组件 2、每个 Actor 都有一个MailBox，别的 Actor 发送给它的消息都首先储存在 MailBox 中，通过这种 方式可以实现异步通信。 3、每个 Actor是单线程的处理方式，不断的从 MailBox 拉取消息

RPC 分布式系统离不开RPC远程调用，本文首先理一下什么是RPC。 1.java本地方法调用 假设你有一个Calculator，那么单体应用时，要调用Calculator的add方法来执行一个加运算，你可以方法中直接使用，因为在同一个地址空间，或者说在同一块内存，这个称为本地函数调用。 java的本地方法调用中，每个方法会作为java虚拟机栈中的一个栈帧放入到java虚拟机栈中，方法调用的时候执行入栈操作，方法执行完成执行出栈操作。 2.远程方法调用-RPC 需求：系统不同模块之.

Flink集群启动入口分析 首先查看start-cluster.sh 文件： bin=`dirname "$0" bin=`cd "$bin"; pwd` . "$bin"/config.sh # Start the JobManager instance(s) # 打开选项 shopt -s nocasematch if [[ $HIGH_AVAILABILITY == "zookeeper...