Spark-提交应用

一，Spark本地模式提交应用：

 例如在命令行输入：

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[1] \
./examples/jars/spark-examples_2.11-2.4.5.jar \
10

参数解释：

（1）--class表示要执行程序的主类，此处可以更换我们自己写的应用程序

（2）--master local[2]部署模式，默认为本地模式，数字表达分配的虚拟CPU核数量

（3）saprk-examples_2.11-2.4.5.jar运行的应用类所在的jar包，实际使用可以设定自己的jar包

（4）数字10代表程序入口参数，用于设定当前的任务数量

二，Spark集群模式提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master:7077 \
./examples/jars/spark-examples_2.11-2.4.5.jar \
10

参数解释：

（1）--class表示要执行程序的主类

（2）--master spark://master:7077 独立部署模式，连接到Spark集群（master是自己主机名或者用IP地址）

（3）saprk-examples_2.11-2.4.5.jar运行的应用类所在的jar包

（4）数字10代表程序入口参数，用于设定当前的任务数量

执行任务时，会产生多个 Java 进程：