超级会员免费看
本文详细介绍了Spark的运行流程，包括Spark的基本概念如Application、Driver、Executor等，以及Spark在Standalone和YARN两种集群环境下的运行架构。Spark运行流程包括SparkContext的注册、资源申请、Task调度和执行。此外，还探讨了DAGScheduler的角色和TaskScheduler的职责。
欢迎关注github《大数据成神之路》
目录
一、Spark中的基本概念
二、Spark的运行流程
2.1 Spark的基本运行流程
三、Spark在不同集群中的运行架构
3.1 Spark on Standalone运行过程
3.2 Spark on YARN运行过程
正文
一、Spark中的基本概念
（1）Application：表示你的应用程序
（2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext
（3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行某些task，并且负责将数据存在内存或者磁盘上。在Spark on Yarn模式
订阅专栏 解锁全文
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
