![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yarn
文章平均质量分 93
blackproof
这个作者很懒,什么都没留下…
展开
-
yarn基本架构123
YARN角色 1.RM ResourceManager a)调度器:分配container给应用程序 b)应用程序管理器:管理应用程序(程序提交,与调度器交互启动AM,监控AM等) 2.ApplicationMaster:管理每个应用程序,与RM交互要container,与NM交互运行task 3.NodeManager:运行应用程序AM的task,与RM交互汇报Container...2014-09-22 20:34:19 · 119 阅读 · 0 评论 -
protocal buffers入门实例
hadoop yarn中新的系列化protocol buffers 1.安装protoc,附件里是win,llinux的文件,win配置下环境变量,或是linux下configure make make install 2.写protoc文件person.proto package tutorial; option java_package="";//包名 option java_o...2014-09-22 21:08:18 · 102 阅读 · 0 评论 -
yarn安装 转
转http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-install/ 1. 准备 首先你需要准备一台或多台服务器,同Hadoop 1.0一样,你需要安装JDK,利用ssh设置免密码登录,在此不具体介绍。 2. 安装 接下来,你可从http://archive.cloudera.com/cdh4/cdh/4/下载最新版的CDH4...原创 2014-10-29 09:40:34 · 119 阅读 · 0 评论 -
yarn基本架构123
tionMaster:管理每个应用程序,与RM交互要container,与NM交互运行task 3.NodeManager:运行应用程序AM的task,与RM交互汇报Container资源情况 4.Container:封装多维度资源 YARN通信 从以上角色中可以看出有着多个通信: Client-RS:向RM提交应用程序 Admin-RS:向RM更新配置文件 AM-RM:要求RM启动,停机自己,申请资源 AM-NM:要求NM启动,停止Container中的任务,获取Contain2014-09-22 20:34:19 · 85 阅读 · 0 评论 -
protocal buffers入门实例
o package tutorial; option java_package="";//包名 option java_outer_classname="PersonProtos";//类名 message Person{ required string name = 1; //required为必填,optional为可为空 required int32 id =2; required string email = 3; m2014-09-22 21:08:18 · 211 阅读 · 0 评论 -
yarn安装 转
原创 2014-10-29 09:40:34 · 104 阅读 · 0 评论