YARN
文章平均质量分 79
maoxiao_jsd
这个作者很懒,什么都没留下…
展开
-
hadoop通信核心:RPC学习
RPC(remote produce call)是一种常见的分布式网络通信协议,它允许本地计算机远程调用远程计算机的子程序,同时隐藏了具体了通信细节,使得用户无需考虑交互式编程,对于分布式系统hadoop,hadoop——RPC作为MR,YARN,HDFS公用的通信模块,保证其轻量级,高性能,可控性显得尤为重要(java RMI重量级过大,且可控性太少)--------------------原创 2014-01-05 16:28:04 · 1546 阅读 · 0 评论 -
YARN ResourceManager调度器的分析
YARN是Hadoop新版中的资源控制框架。本文旨在深入剖析ResourceManager的调度器,探讨三种调度器的设计侧重,最后给出一些配置建议和参数解释。本文分析基于CDH4.2.1。调度器这个部分目前还在快速变化之中。例如,CPU资源分配等特性在不就的将来就会加入。为了方便查阅源代码,原代码位置使用[类名:行号]方式表示。名词解释:ResourceManage转载 2014-01-09 22:20:35 · 819 阅读 · 0 评论