[笔记迁移][Hadoop][8]YARN原理

一、基本原理

YARN不懂运算模型，具有 通用性 ，不管是MapReduce, Spark, Storm 只要有符合规范的AppMaster，YARN就能启动分配与调度机制->底层解耦

NodeManager执行MapReduce任务细节：

---

二、运行模式的关键：RunJar进程

1. 本地模式( 本地JVM For Debug )与集群模式( YARN JVM For Use )
   运行模式与哪个文件系统无关，取决于配置文件：根据配置文件yarn-site.xml, mapred-site.xml初始化，默认情况（没有配置）是LocalRunJar

2. 如果想直接在eclipse中run main来启动集群运行模式，需要把本工程打包成xxx.jar，在Runner中conf.set(“mapreduce.job.jar”,“xxx.jar”)

---

三、调用过程