Spark-Submit 工作流程(SparkContext的初始化)

最新推荐文章于 2022-07-18 21:58:54 发布

GYY22897

最新推荐文章于 2022-07-18 21:58:54 发布

阅读量214

点赞数

文章标签：大数据

原文链接：http://www.cnblogs.com/shi-qi/articles/10604670.html

版权

DriverApplication 的执行与输出都是通过 SparkContext 来完成, 在正式提交之前,首先启动 SparkContext , sparkContext 隐藏了网络通新,分布式部署,消息通信,存储能力, 计算能力, 缓存能力,文件服务,web 服务等,应用程序开发者只需要使用 SparkContext 提供的 API 进行开发
SparkContext的初始化
    1),TaskScheduler(通过与它对应的进程连接Mater,向Master注册Application)
    2),DAGScheduler 为每一个job创建一个stage,每一个stage会创建一个 Taskset
    3),SparkUI显示 Applation的运行状态,启动一个jetty服务器提供web服务

2.4版本 submit 提交流程

 ApplicationDescription:
   spark-submit 指定的配置信息 代表了当前执行的 Application 信息
TaskSchedulerImpl:
   1, 通过 SchedulerBackend ,针对不同的 cluster(standalone,yarn,mesos),调度 task
   2, 可以通过 使用 一个 LocalBackend, 将 isLocal 设置为 true, 来支持本地模式工作
   3, 负责处理通用的逻辑, 决定多个 job 调度顺序(调度池(先入先出等)), 可以推测任务执行

转载于:https://www.cnblogs.com/shi-qi/articles/10604670.html