一,Spark本地模式提交应用:
例如在命令行输入:
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[1] \
./examples/jars/spark-examples_2.11-2.4.5.jar \
10
参数解释:
(1)--class表示要执行程序的主类,此处可以更换我们自己写的应用程序
(2)--master local[2]部署模式,默认为本地模式,数字表达分配的虚拟CPU核数量
(3)saprk-examples_2.11-2.4.5.jar运行的应用类所在的jar包,实际使用可以设定自己的jar包
(4)数字10代表程序入口参数,用于设定当前的任务数量
二,Spark集群模式提交应用
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master:7077 \
./examples/jars/spark-examples_2.11-2.4.5.jar \
10
参数解释:
(1)--class表示要执行程序的主类
(2)--master spark://master:7077 独立部署模式,连接到Spark集群(master是自己主机名或者用IP地址)
(3)saprk-examples_2.11-2.4.5.jar运行的应用类所在的jar包
(4)数字10代表程序入口参数,用于设定当前的任务数量
执行任务时,会产生多个 Java 进程: