目录
一、环境准备:
1.启动HDFS集群
[zkpk@master hadoop-2.7.3]$ sbin/start-dfs.sh
2.启动yarn
[zkpk@master hadoop-2.7.3]$ sbin/start-yarn.sh
3.查看集群启动是否正常(使用查看进程脚本xcall.sh)
[zkpk@master hadoop-2.7.3]$ xcall.sh
4.关闭安全模式
[zkpk@master hadoop-2.7.3]$ hdfs dfsadmin -safemode leave
也可在网页端查看:
二、在master上部署历史服务器:
1.准备日志存储的文件夹:
[zkpk@master hadoop-2.7.3]$ hdfs dfs -mkdir -p /spark/jobhistory
网页端查看:
2.在spark/conf路径下,复制spark-defaults.conf.template文件去掉其后缀.template
[zkpk@master conf]$ cp spark-defaults.conf.template spark-defaults.conf
3.修改spark-defaults.conf.template文件:
[zkpk@master conf]$ vi spark-defaults.conf
相关参数说明:
spark.eventLog.enabled:指定受启用日志功能。
spark.eventLog.dir:指定日志存储路径,Application在运行过程中所有的信息均记录在该属性指定的路径下。
4.复制spark-env.sh.template文件并去掉其后缀.template
[zkpk@master conf]$ cp spark-env.sh.template spark-env.sh
5.在spark-env.sh.template文件中添加如下配置:
[zkpk@master conf]$ vi spark-env.sh
相关参数说明:
-Dspark.history.ui.port:指定WEBUI访问的端口号为18080
-Dspark.history.retainedApplications:指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数
-Dspark.history.fs.logDirectory:配置了该属性后,在start-history-server.sh时就无需再显式的指定路径,Spark History Server页面只展示该指定路径下的信息。
6.启动历史服务器:
[zkpk@master conf]$ cd ..
[zkpk@master spark]$ sbin/start-history-server.sh
7.查看进程:
[zkpk@master spark]$ xcall.sh
8.网页端(master:18080)查看:
三、执行spark任务
1.使用官方圆周率案例:
[zkpk@master spark]$ bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster ./examples/jars/spark-examples_2.11-2.1.1.jar 100
注:Spark中Yarn-Cluster模式执行任务后,结果不会显示,需要去历史服务器的网页端查看结果。
2.历史服务器网页端(master:18088)查看结果:
查看到结果啦!