spark10--资源调度模式, yarn的任务调度流程

资源调度模式

Spark runs on Hadoop, Apache Mesos, Kubernetes, standalone, or in the cloud.

1. local 模式(本地模式)
2. standalone 模式
3. spark-on-yarn 模式
4. mesos模式
5. decker
6. cloud
7. …

• 用哪种资源调度模式比较好?
  • 需要通过公司需求和运行速度来综合 衡量
• 哪种资源调度模式比较快
  • standalone模式
• 为什么很多企业在用spark-on-yarn模式
  • 考虑到尽量用一个统一的资源调度模式来运行多种任务, 这样可以减轻运维的工作压力, 同时也可以减少资源调度之间的配合(基于集群考虑)

yarn的任务调度流程

1. client向resourcemanager注册并提交任务, 在resourcemanager生成任务信息
2. resourcemanager和datamanager进行通信, 寻找一个资源较多的节点启动一个APPmaster, 用来负责当前任务的调度
3. APPmaster启动后向resourcemanager申请资源
4. applicationManager开始资源调度, 开始通知nodeManager启动一个yarnchild进程
5. yarnChild开始和APPmaster进行通信, APPmaster对所有yarnChild进行监控
6. MR执行完以后, yarnChild被APPmaster回收, APPmaster把自己回收掉