基本概念
理解Spark的运行模式涉及一系列概念：
（1）Cluster Manager：在集群上获取资源的外部服务。目前有三种类型：1. Standalone, Spark原生的资源管理；2. Apache Mesos, 和Hadoop Mapreduce兼容性良好 的资源调度框架；3. Hadoop Yarn, 主要指YARN中的ResourceManager.
（2）Application: 用户编写的应用应用程序。
（3）Driver: Application中运行main函数并创建的SparkContext, 创建SparkContext的目的是和集群的ClusterManager通讯，进行资源的申请、任务的分配和监控等。所 以，可以用SparkContext代表Driver。
（4）<
Spark工作原理
最新推荐文章于 2023-01-01 21:30:43 发布
本文介绍了Spark的基本概念，包括Cluster Manager、Application、Driver、Worker、Executor、Task、Job、Stage、RDD、DAGScheduler、TaskScheduler、共享变量以及运行模式。Spark的工作流程包括：客户端提交应用、Driver创建SparkContext、DAGScheduler和TaskScheduler调度、Task执行和作业完成。Spark支持Standalone、Mesos、YARN等多种运行模式，本地模式通常用于调试，而YARN集群模式用于生产环境。
最低0.47元/天 解锁文章
348
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
