Spark Yarn-Cluster模式下官方求圆周率案例

目录

一、环境准备：

二、在master上部署历史服务器：

三、执行spark任务

---

一、环境准备：

1.启动HDFS集群

[zkpk@master hadoop-2.7.3]$ sbin/start-dfs.sh

2.启动yarn

[zkpk@master hadoop-2.7.3]$ sbin/start-yarn.sh

3.查看集群启动是否正常（使用查看进程脚本xcall.sh）

[zkpk@master hadoop-2.7.3]$ xcall.sh

4.关闭安全模式

[zkpk@master hadoop-2.7.3]$ hdfs dfsadmin -safemode leave

也可在网页端查看:

二、在master上部署历史服务器：

1.准备日志存储的文件夹：

[zkpk@master hadoop-2.7.3]$ hdfs dfs -mkdir -p /spark/jobhistory

网页端查看：

2.在spark/conf路径下，复制spark-defaults.conf.template文件去掉其后缀.template

[zkpk@master conf]$ cp spark-defaults.conf.template spark-defaults.conf

3.修改spark-defaults.conf.template文件：

[zkpk@master conf]$ vi spark-defaults.conf

相关参数说明：

spark.eventLog.enabled:指定受启用日志功能。
spark.eventLog.dir:指定日志存储路径，Application在运行过程中所有的信息均记录在该属性指定的路径下。

4.复制spark-env.sh.template文件并去掉其后缀.template

[zkpk@master conf]$ cp spark-env.sh.template spark-env.sh

5.在spark-env.sh.template文件中添加如下配置:

[zkpk@master conf]$ vi spark-env.sh

相关参数说明：

-Dspark.history.ui.port:指定WEBUI访问的端口号为18080
-Dspark.history.retainedApplications:指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数
-Dspark.history.fs.logDirectory:配置了该属性后，在start-history-server.sh时就无需再显式的指定路径，Spark History Server页面只展示该指定路径下的信息。

6.启动历史服务器:

[zkpk@master conf]$ cd ..
[zkpk@master spark]$ sbin/start-history-server.sh

7.查看进程：

[zkpk@master spark]$ xcall.sh

8.网页端(master:18080)查看：

三、执行spark任务

1.使用官方圆周率案例：

[zkpk@master spark]$ bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster ./examples/jars/spark-examples_2.11-2.1.1.jar 100

注：Spark中Yarn-Cluster模式执行任务后，结果不会显示，需要去历史服务器的网页端查看结果。

2.历史服务器网页端(master:18088)查看结果：

 

 

 

 查看到结果啦！