Yarn
JJZHK
Yarn, OMG
展开
-
Yarn源代码分析之旅---ResourceManager---用户交互之ResourceManagerAdministrationProtocol与AdminService
AdminService为管理员提供了一套独立的服务接口,以防止大量的普通用户的请求使得管理员发送的管理命令饿死。管理员可以通过这些接口命令管理集群,比如动态更新节点列表,更新ACL列表,更新队列信息等等A原创 2016-01-24 22:31:03 · 1886 阅读 · 0 评论 -
Yarn源代码分析之旅---NodeManager---Container管理之资源本地化
概述 ContainerManagerImpl内部包含一个负责资源本地化的服务,它负责Container所需资源的本地化,能够根据描述从HDFS上下载Container所需的文件资源并尽量将他们分摊到各个磁盘上,以防止出现访问热点。此外还会为下载的文件添加访问控制权限,并为之施加何时的磁盘空间使用份额。 初始化时会生成一个ScheduledThre原创 2014-02-20 11:43:50 · 3416 阅读 · 0 评论 -
Yarn源代码分析之旅---NodeManager---健康检查
概述 在NodeManager的初始化的时候,我们会看到如下代码:原创 2014-02-20 07:10:38 · 4022 阅读 · 1 评论 -
Yarn源代码分析之旅---ResourceManager---AM管理之AMLivelinessMonitor
概述 在RM进程内,有两个关于AMLivelinessMonitor的服务被添加到了服务列表里面,一个是amLivelinessMonitor,另一个是amFinishingMonitor。AMLivelinessMonitor实现了AbstractLivelinessMonitor(从这里可以看出一个AM对应一个ApplicationAttempt),此对象又实现了Abstra原创 2014-02-17 06:58:01 · 3512 阅读 · 0 评论 -
Yarn源代码分析之旅---总体架构---概述与总体架构
一、Haddoop 1.0的不足与Hadoop2.0的产生 学习和研究过Hadoop1.0的人都应该知道,在Hadoop1.0中,使用了Master\Slave的架构模式,jobTracker运行在单点的NameNode上,同时兼备了资源管理和作业控制两个功能,使得它成为了系统的最大一个瓶颈,严重制约了Hadoop集群的扩大;并且单点的NameNode一旦出现故障将导致整个集群不原创 2014-01-26 06:20:54 · 8810 阅读 · 2 评论 -
Yarn源代码分析之旅---文章目录
先上大图,开始Yarn源代码之旅。原创 2014-01-25 08:36:49 · 3562 阅读 · 2 评论