![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yarn
文章平均质量分 93
blackproof
这个作者很懒,什么都没留下…
展开
-
yarn基本架构123
YARN角色1.RM ResourceManager a)调度器:分配container给应用程序b)应用程序管理器:管理应用程序(程序提交,与调度器交互启动AM,监控AM等)2.ApplicationMaster:管理每个应用程序,与RM交互要container,与NM交互运行task3.NodeManager:运行应用程序AM的task,与RM交互汇报Container...2014-09-22 20:34:19 · 117 阅读 · 0 评论 -
protocal buffers入门实例
hadoop yarn中新的系列化protocol buffers1.安装protoc,附件里是win,llinux的文件,win配置下环境变量,或是linux下configure make make install2.写protoc文件person.protopackage tutorial;option java_package="";//包名option java_o...2014-09-22 21:08:18 · 99 阅读 · 0 评论 -
yarn安装 转
转http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-install/ 1. 准备首先你需要准备一台或多台服务器,同Hadoop 1.0一样,你需要安装JDK,利用ssh设置免密码登录,在此不具体介绍。2. 安装接下来,你可从http://archive.cloudera.com/cdh4/cdh/4/下载最新版的CDH4...原创 2014-10-29 09:40:34 · 116 阅读 · 0 评论 -
yarn基本架构123
tionMaster:管理每个应用程序,与RM交互要container,与NM交互运行task3.NodeManager:运行应用程序AM的task,与RM交互汇报Container资源情况4.Container:封装多维度资源 YARN通信从以上角色中可以看出有着多个通信:Client-RS:向RM提交应用程序Admin-RS:向RM更新配置文件AM-RM:要求RM启动,停机自己,申请资源AM-NM:要求NM启动,停止Container中的任务,获取Contain2014-09-22 20:34:19 · 83 阅读 · 0 评论 -
protocal buffers入门实例
opackage tutorial;option java_package="";//包名option java_outer_classname="PersonProtos";//类名message Person{ required string name = 1; //required为必填,optional为可为空 required int32 id =2; required string email = 3; m2014-09-22 21:08:18 · 208 阅读 · 0 评论 -
yarn安装 转
原创 2014-10-29 09:40:34 · 100 阅读 · 0 评论