![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Yarn
elpsyco
这个作者很懒,什么都没留下…
展开
-
Yarn各个组件的功能和mapreduce在yarn的任务调度
Yarn是什么 Yarn叫做Yet Another Resource Negotiator,另一种资源协调者,他的产生是为了解决Hadoop 1.0时代所遗留的问题,因为Hadoop1.0时代分布式计算作业分配与资源分配都是由MapReduce中的JobTracker完成,可能会出现内存溢出或资源不足的情况导致作业分配不及时或者资源分配不及时 只能支持MapReduce分布式计算框架,不能支持现...原创 2019-10-17 19:44:46 · 741 阅读 · 0 评论 -
Yarn工作流程
hadoop1.x的时候 MapReduce存在的问题 job类型 只能是MapReduce任务 集群资源管理 只有一个jobTracker ,单点故障(SPOF) 每个Slave机器可运行的最大Map Task和Reduce Task数量固定 难以共享集群 Spark Storm ...原创 2019-09-23 20:09:24 · 291 阅读 · 0 评论