![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
YARN
Jerry Shao
这个作者很懒,什么都没留下…
展开
-
YARN源码剖析:RM启动脚本
文章目录RM启动命令yarn-daemon.sh分析/bin/yarn分析RM启动命令$HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanageryarn-daemon.sh分析case $startStop in (start) [ -w "$YARN_PID_D...原创 2019-01-30 00:17:52 · 295 阅读 · 0 评论 -
YARN通信协议
YARN包括三种RPC通信协议:Client-RM Protocol、AM-RM Protocol、AM-NM Protocol。ApplicationClientProtocol(用于Client与RM之间)。client通过该协议可实现 提交Application到RM上、查询Application运行状态、杀死Application等。具体接口如下:接口 说明 A...原创 2019-09-23 20:49:56 · 519 阅读 · 0 评论 -
Delay scheduling学习总结
目标在多路复用的集群中(多租户并行提交作业),在对公平调度冲击最小的前提下,尽量提高job的数据本地性。hadoop的默认调度策略hadoop1默认采用FIFO调度。FIFO采用队列方式将一个一个job任务按照时间先后顺序进行服务。比如排在最前面的job需要若干maptask和若干reducetask,当发现有空闲的服务器节点就分配给这个job,直到job执行完毕。当scheduler接收到...原创 2019-07-04 23:36:54 · 828 阅读 · 0 评论 -
YARN论文推荐
1、最大最小公平调度算法:https://www.ece.rutgers.edu/~marsic/Teaching/CCN/minmax-fairsh.html2、延迟调度:Delay Scheduling: A Simple Technique for Achieving Locality and Fairness in Cluster Scheduling...原创 2019-07-01 18:19:42 · 366 阅读 · 0 评论 -
YARN源码剖析:NM子服务初始化
NM初始化过程中涉及到的子service列表DeletionService 文件清理服务NodeHealthCheckerService 节点健康检查服务NodeResourceMonitor 节点资源监控服务ContainerManager 容器管理服务WebServer web服务AsyncDispatcher 事件分发器NodeStatusUpdater 节点状态更新服务...原创 2019-03-26 12:12:05 · 858 阅读 · 0 评论 -
YARN源码剖析:NM之ContainerExecutor
ContainerExecutor的继承关系ContainerExecutor的实例化ContainerExecutor的实例化是在NM初始化方法serviceInit()中完成的,通过配置参数yarn.nodemanager.container-executor.class 来配置使用哪种ContainerExecutor,默认使用DefaultContainerExecutor。如下:...原创 2019-03-23 22:07:52 · 315 阅读 · 0 评论 -
YARN源码剖析:NM中的进程资源使用计算器
进程资源使用计算器有两种实现:windows和linux下。这里只分析linux下基于/procfs的资源使用计算器。该类通过统计/proc/目录下的文件内容来统计进程资源使用情况,涉及到的文件列表如下:/proc/[pid]/stat 进程的cpu时间信息/proc/[pid]/cmdline 进程执行的命令/proc/[pid]/smaps 进程的mem信息相关参数:contai...原创 2019-03-26 21:00:13 · 190 阅读 · 0 评论 -
YARN源码分析:RM子服务初始化
RM的子服务列表RMApplicationHistoryWriterAsyncDispatcherAdminServiceRMActiveServicesRMSecretManagerServiceContainerAllocationExpirerAMLivelinessMonitorRMNodeLabelsManagerRMStateStoreRMApplicationHi...原创 2019-04-08 23:52:09 · 801 阅读 · 0 评论 -
YARN源码剖析:NM子服务启动
当NM的服务初始化完成后,就会进入启动阶段@Override protected void serviceStart() throws Exception { try { doSecureLogin(); } catch (IOException e) { throw new YarnRuntimeException("Failed NodeManag...原创 2019-03-27 15:40:47 · 672 阅读 · 0 评论 -
YARN源码剖析:NM启动过程
NodeManager.main()整体流程public static void main(String[] args) throws IOException { //注册UncaughtExceptionHandler Thread.setDefaultUncaughtExceptionHandler(new YarnUncaughtExceptionHandler());...原创 2019-03-19 00:35:00 · 356 阅读 · 0 评论 -
YARN源码剖析:RM启动过程
org.apache.hadoop.yarn.server.resourcemanager.ResourceManager类main()分析public static void main(String argv[]) { //为主线程注册一个UncaughtException处理器,设置在线程因未捕获异常而突 //然终止时调用的默认处理程序 Thread.setDefau...原创 2019-03-18 17:28:54 · 552 阅读 · 0 评论 -
YARN通信协议
YARN包括三种RPC通信协议:Client-RM Protocol、AM-RM Protocol、AM-NM Protocol。Client-RM ProtocolApplicationClientProtocol(用于Client与RM之间)。client通过该协议可实现 提交Application到RM上、查询Application运行状态、杀死Application等。具体接口如下:...原创 2019-09-23 21:10:55 · 246 阅读 · 0 评论