Yarn
是一种新的 Hadoop 资源管理器
胡子球手
谦虚请教
展开
-
YARN工作流程
自己画的 有错误请大家指出 YARN的运行流程(工作机制) 1.clinet提交程序,向RM申请一个唯一的jobid 2.RM返回一个jobid,并且返回程序提交资源的路径发送给客户端 3.Client端将运行作业所需要的资源(如:jar包,配置文件,切片信息等)向指定的hdfs路径上传(注意:这个hdfs的路径是临时目录,程序运行完后,自动销毁) 4.上传成功之后,向RM发送执行作业的请求 5.RM讲请求转发给调度器 6.调度器会检测看哪个NM(Nodemanager)机器有空闲的时间来调度程序,如果有原创 2020-07-03 17:16:37 · 950 阅读 · 0 评论 -
yran原理
在hadoop1.x中还没有yarn ,到了hadoop2.x才出现yarn 1. 为什么会出现yarn hadoop1.x的时候,存在最大问题就是资源管理,随着技术的发展,人们不再满足hadoop集群只使用mapreduce一个计算框架(例如:spark mapreduce 等框架) 人们更希望有一套合理的管理机制,来控制整个集群的资源管理 ...原创 2020-04-02 20:16:50 · 2551 阅读 · 0 评论