YARN组件（三）

YARN组件

YARN的基本组成结构，YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件构成

Resourcemanager

RM是一个全局的资源管理器，集群只有一个，负责整个系统的资源管理和分配，包括处理客户端请求、启动/监控APP master、监控nodemanager、资源的分配与调度。

Nodemanager

负责每个节点上的资源和使用,处理来自于resourcemanager的命令,NodeManager是YarnChild的守护进程，负责监控YarnChild的运行状态,真正负责计算的进程为YarnChild .

Container

Container不是一个进程，Container中记录 了MRAppMaster进程向RM进程申请的资源信息。

MRAppMaster

a) 为所有的Nodemanager执行任务向ResourceManager申请资源(CPU+RAM+网络I0等)
b) 触发任务(MapTask ,ReduceTask)的正式执行

YARN的执行流程（Job的提交流程）

程序运行完毕后，MR会向RM申请注销自己
进度和状态更新
作业完成

YARN的资源调度器

YRAN的资源调用有 FIFO(先进先出) ,Capacity Scheduler(容器调度),Fair scheduler(公平调度)
FIFO调度器: 其实就是一个队列,按照到达的先后时间来提供服务
容器调度: 多个FIFO队列，防止同一个用户作业独占队列资源。任务并行度=队列数
公平调度: 多个队列，每个队列可执行多个任务。任务并行度>队列数

Spark提交任务到Yarn命令

standalone模式提交命令

./spark-submit
–master yarn
–class org.apache.spark.examples.SparkPi …/lib/spark-examples-1.6.0-hadoop2.6.0.jar
100

yarn-cluster提交任务写法

提交任务的第一种写法
./spark-submit
–master yarn
–deploy-mode cluster
–class org.apache.spark.examples.SparkPi …/lib/spark-examples-1.6.0-hadoop2.6.0.jar
100

提交任务的第二种写法：
./spark-submit
–master yarn-cluster
–class org.apache.spark.examples.SparkPi …/lib/spark-examples-1.6.0-hadoop2.6.0.jar

yarn-cluster模式总结

Yarn-Cluster主要用于生产环境中，因为Driver运行在Yarn集群中某一台nodeManager中，每次提交任务的Driver所在的机器都是随机的，不会产生某一台机器网卡流量激增的现象，缺点是任务提交后不能看到日志，只能通过yarn查看日志。