基本概念
理解Spark的运行模式涉及一系列概念:
(1)Cluster Manager:在集群上获取资源的外部服务。目前有三种类型:1. Standalone, Spark原生的资源管理;2. Apache Mesos, 和Hadoop Mapreduce兼容性良好 的资源调度框架;3. Hadoop Yarn, 主要指YARN中的ResourceManager.
(2)Application: 用户编写的应用应用程序。
(3)Driver: Application中运行main函数并创建的SparkContext, 创建SparkContext的目的是和集群的ClusterManager通讯,进行资源的申请、任务的分配和监控等。所 以,可以用SparkContext代表Driver。
(4)<
Spark工作原理
最新推荐文章于 2023-01-01 21:30:43 发布
本文介绍了Spark的基本概念,包括Cluster Manager、Application、Driver、Worker、Executor、Task、Job、Stage、RDD、DAGScheduler、TaskScheduler、共享变量以及运行模式。Spark的工作流程包括:客户端提交应用、Driver创建SparkContext、DAGScheduler和TaskScheduler调度、Task执行和作业完成。Spark支持Standalone、Mesos、YARN等多种运行模式,本地模式通常用于调试,而YARN集群模式用于生产环境。
摘要由CSDN通过智能技术生成