![](https://img-blog.csdnimg.cn/20200618083337603.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Yarn
是一种新的 Hadoop 资源管理器
胡子球手
谦虚请教
展开
-
YARN工作流程
自己画的 有错误请大家指出YARN的运行流程(工作机制)1.clinet提交程序,向RM申请一个唯一的jobid2.RM返回一个jobid,并且返回程序提交资源的路径发送给客户端3.Client端将运行作业所需要的资源(如:jar包,配置文件,切片信息等)向指定的hdfs路径上传(注意:这个hdfs的路径是临时目录,程序运行完后,自动销毁)4.上传成功之后,向RM发送执行作业的请求5.RM讲请求转发给调度器6.调度器会检测看哪个NM(Nodemanager)机器有空闲的时间来调度程序,如果有原创 2020-07-03 17:16:37 · 944 阅读 · 0 评论 -
yran原理
在hadoop1.x中还没有yarn ,到了hadoop2.x才出现yarn1. 为什么会出现yarnhadoop1.x的时候,存在最大问题就是资源管理,随着技术的发展,人们不再满足hadoop集群只使用mapreduce一个计算框架(例如:spark mapreduce 等框架)人们更希望有一套合理的管理机制,来控制整个集群的资源管理...原创 2020-04-02 20:16:50 · 2512 阅读 · 0 评论