6. 基于 Mac 平台 VMware 虚拟机的 Spark 安装 (6) - 测试 spark-submit

接上篇文章，5. 基于 Mac 平台 VMware 虚拟机的 Spark 安装 (5) - 安装 Spark

https://blog.csdn.net/jiangmengya1/article/details/87636315

这篇文章里，主要介绍 6. 基于 Mac 平台 VMware 虚拟机的 Spark 安装 (6) - 测试 spark-submit
这里的测试，我们采用几种模式来运行 Spark 官方提供的计算圆周率 Demo 

一、使用单机模式提交任务 (--master local)

单机模式，也称为 Local 模式，即在本地机器上单机执行程序
不需要启动 Hadoop 集群
不需要启动 Spark 集群
机器上只要安装了 JDK、Scala、Spark 即可
执行命令
#  /app/soft/spark-2.2.3-bin-hadoop2.6/bin/spark-submit  --master  local  --class  org.apache.spark.examples.SparkPi  /app/soft/spark-2.2.3-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.2.3.jar
稍等片刻、执行结果如图所示：

二、使用独立的 Spark 集群模式提交任务 (--master  spark://master:7077)

独立的 Spark 集群模式，也称为 Standalone 模式
不需要启动 Hadoop 集群
需要启动 Spark 集群
启动 Spark 集群的方法如图所示，即执行 ./spark-2.2.3-bin-hadoop2.6/sbin/start-all.sh 
如下图所示

启动 Spark 集群成功后，可以通过 Spark 集群界面查看，即浏览器打开 master:8080 
如下图所示

我们执行命令
#  /app/soft/spark-2.2.3-bin-hadoop2.6/bin/spark-submit  --master  spark://master:7077  --class  org.apache.spark.examples.SparkPi  /app/soft/spark-2.2.3-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.2.3.jar
稍等片刻，得到如图执行效果

任务运行过程中，可以通过浏览器 master:8088 来查看任务的运行状态

三、使用 Hadoop 集群 +  Spark 集群模式提交任务 (--master  yarn-client)

这种模式下
需要先启动 Hadoop 集群（ /hadoop-2.6.5/sbin/start-all.sh ）
再启动 Spark 集群（ ./spark-2.2.3-bin-hadoop2.6/sbin/start-all.sh ）
启动成功后，
Hadoop 集群可以通过 master:8088 和 master:50070 查看

我们执行命令：
#  /app/soft/spark-2.2.3-bin-hadoop2.6/bin/spark-submit  --master  yarn-client  --class  org.apache.spark.examples.SparkPi  /app/soft/spark-2.2.3-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.2.3.jar
等待完成即可
结果依然输出在控制台上
从 log 提示中可以看到，任务运行过程中，可以通过浏览器 master:4040 查看任务的运行状态

四、使用 yarn-cluster 模式来执行任务 （--master  yarn-cluster）

#  /app/soft/spark-2.2.3-bin-hadoop2.6/bin/spark-submit  --master  yarn-cluster  --class  org.apache.spark.examples.SparkPi  /app/soft/spark-2.2.3-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.2.3.jar

使用 yarn-cluster 模式时候，任务运行的输出不在控制台上，
我们通过 Log ，
按照如下步骤进行查找