Spark-submit用法

spark-submit -h 查看用法

spark-submit -h

Usage: spark-submit [options] <app jar | python file | R file> [app arguments]

常见的[options] 如下表：

“--master”参数解释如下表：

蒙特卡罗（Monte Carlo）方法计算圆周率

正方形内部有一个相切的圆，它们的面积之比是π/4，如果点均匀分布，那么圆内的点应该占到所有点的 π/4。

执行下面几种方式。
注意：在运行后注意打开网页http://[IP地址]:8080，查看是否有应用程序（Application）。
以下路径名字根据自己ubantu更换

• 方式一：没有指定“--master”

spark-submit --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

• 方式二：指定“--master”为local

spark-submit --master local --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

• 方式三：指定“--master”为local[2]

spark-submit --master local[2] --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

• 方式四：指定“--master”为local[*]

spark-submit --master local[*] --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

• 方式五：指定“--master”为spark://hostname:7077

spark-submit --master spark://node1:7077 --class org.apache.spark.examples.JavaSparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

• 方式六：运行py文件

spark-submit --master spark://node1:7077 /home/hadoop/spark/examples/src/main/python/pi.py 100

转载于:https://www.cnblogs.com/jiajiaba/p/10581270.html