Spark on YARN思想

Hadoop YARN

1.YARN 是Hadoop推出整个分布式（大数据）集群的资源管理器，负责资源的管理和分配。基于YARN，我们可以在同一个大数据集群上同时运行多个计算框架，例如Spark、MapReduce、Storm等。

2.YARN基本工作流程：

注意：Container要向NodeManager汇报资源信息，Container要向App Mstr汇报计算信息。

3.客户端Client向ResourceManager提交Application，ResourceManager接受Application，并根据集群资源和状况决定在具体哪个Node上来启动当前提交的应用程序的Driver（ApplicationMaster），决定后命令具体的某个Node上的资源管理器NodeManager来启动一个新的JVM进程运行程序的Driver部分，当ApplicationMaster启动的时候（会首先向Res