文章目录
YARN组件
YARN的基本组成结构,YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件构成
Resourcemanager
RM是一个全局的资源管理器,集群只有一个,负责整个系统的资源管理和分配,包括处理客户端请求、启动/监控APP master、监控nodemanager、资源的分配与调度。
Nodemanager
负责每个节点上的资源和使用,处理来自于resourcemanager的命令,NodeManager是YarnChild的守护进程,负责监控YarnChild的运行状态,真正负责计算的进程为YarnChild .
Container
Container不是一个进程,Container中记录 了MRAppMaster进程向RM进程申请的资源信息。
MRAppMaster
a) 为所有的Nodemanager执行任务向ResourceManager申请资源(CPU+RAM+网络I0等)
b) 触发任务(MapTask ,ReduceTask)的正式执行
YARN的执行流程(Job的提交流程)
程序运行完毕后,MR会向RM申请注销自己
进度和状态更新
作业完成
YARN的资源调度器
YRAN的资源调用有 FIFO(先进先出) ,Capacity Scheduler(容器调度),Fair scheduler(公平调度)
FIFO调度器: 其实就是一个队列,按照到达的先后时间来提供服务
容器调度: 多个FIFO队列,防止同一个用户作业独占队列资源。任务并行度=队列数
公平调度: 多个队列,每个队列可执行多个任务。任务并行度>队列数
Spark提交任务到Yarn命令
standalone模式提交命令
./spark-submit
–master yarn
–class org.apache.spark.examples.SparkPi …/lib/spark-examples-1.6.0-hadoop2.6.0.jar
100
yarn-cluster提交任务写法
提交任务的第一种写法
./spark-submit
–master yarn
–deploy-mode cluster
–class org.apache.spark.examples.SparkPi …/lib/spark-examples-1.6.0-hadoop2.6.0.jar
100
提交任务的第二种写法:
./spark-submit
–master yarn-cluster
–class org.apache.spark.examples.SparkPi …/lib/spark-examples-1.6.0-hadoop2.6.0.jar
yarn-cluster模式总结
Yarn-Cluster主要用于生产环境中,因为Driver运行在Yarn集群中某一台nodeManager中,每次提交任务的Driver所在的机器都是随机的,不会产生某一台机器网卡流量激增的现象,缺点是任务提交后不能看到日志,只能通过yarn查看日志。