本文详细介绍了Spark的集群角色，包括Application、Driver Program、SparkContext、ClusterManager、Worker Node和Executor，以及RDD、Job、Stage和Task的概念。在基本运行流程中，讲述了从SparkContext初始化、DAGScheduler和TaskScheduler的创建，到Executor的启动和任务执行的过程。通过DAGScheduler将Job划分为Stage，TaskScheduler将Task分发给Executor执行，最终在Executor上完成任务并释放资源。
1. 集群角色
- Application：基于spark的用户程序，包含了一个Driver program 和集群中多个Executor
- Driver Program：运行application的main()函数并自动创建SparkContext。Driver program通过一个SparkContext对象来访问Spark，通常用SparkContext代表Driver。
- SparkContext: Spark的主要入口点，代表对计算集群的一个连接，是整个应用的上下文，负责与ClusterManager通信，进行资源申请、任务的分配和监控等。
- ClusterManager：在集群上获得资源的外部服务（spark standalone，mesos，yarm），Standalone模式：Spark原生的资源管理，由Master负责资源，YARN模式：
最低0.47元/天 解锁文章
650
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
