Spark 框架编写的应用程序可以运行在本地模式(Local Mode)、集群模式(Cluster Mode) 和云服务(Cloud),方便开发测试和生产部署。
概述
-
本地模式:Local Mode
将Spark 应用程序中任务Task运行在一个本地JVM Process进程中,通常开发测试使用。
本地模式LocalMode运行:启动一个JVM进程,里面运行Task任务,Task任务并行运行数目依据分 配CPU Core核数,在Spark应用中,一个Task任务运行,需要1Core CPU。
1)、方式一:local
表示分配1Core CPU运行
2)、方式二:local[K]
表示分配K Core CPU,同时运行K个Task
3)、方式三:local[*] 表示获取物理机器CPU Core核数 -
集群模式:Cluster Mode
将Spark应用程序运行在集群上,比如Hadoop YARN集群,Spark自身集群Standalone及
Apache Mesos集群
官方网址:根据个人版本选择