yarn
strongyoung88
记录学习点滴,勇攀技术高峰!
GitBook地址
/<a href="https://www.gitbook.com/@strongyoung">Qiang Yang/</a>
展开
-
Apache Hadoop YARN Architecture
Apache Hadoop YARN ArchitectureYARN的基本理念是要将资源管理器和作业调度/监控分离成独立的守护进程。这个理念就是说,要有一个全局的ResourceManager(RM)和每个应用有一个ApplicationMaster (AM),一个应用可以是一个单一的作业,也可以是作业中的一个有向无环图(DAG)。ResourceManager和NodeManager原创 2017-04-15 12:25:19 · 558 阅读 · 0 评论 -
Hadoop YARN
概述Map输入key/value对,输出key/value对中间结果。Map是独立的任务,它将输入记录转换成中间记录,转换的中间记录与输入记录不需要保持相同的类型。对于一个输入key/value对,可能产出0个或多个输出key/value对。The Hadoop Map-Reduce framework spawns one map task for each InputSplit gene...原创 2018-09-20 16:45:55 · 657 阅读 · 0 评论