Hadoop是可用的,可以访问HDFS
- 进入到spark安装目录,到conf目录下
- 复制spark-defaults.conf.template为spark-defaults.conf
cp spark-defaults.conf.template spark-defaults.conf
- 修改spark默认配置文件:spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master01:9000/directory
注意:HDFS上的目录directory需要提前存在,即事先创建好
bin/hdfs dfs -mkdir /directory
- 修改spark环境配置:spark-env.sh
# 设置webUI访问端口;内存中保存Application历史记录的个数;日志保存地址
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000
-Dspark.history.retainedApplications=3
-Dspark.history.fs.logDirectory=hdfs://master01:9000/directory"
将配置好的文件分发给slave01和slave02
[lsy@master01 conf]$ scp spark-env.sh slave01:/opt/module/spark-2.1.1-bin-hadoop2.7/conf/
[lsy@master01 conf]$ scp spark-env.sh slave02:/opt/module/spark-2.1.1-bin-hadoop2.7/conf/
[lsy@master01 conf]$ scp spark-defaults.conf slave01:/opt/module/spark-2.1.1-bin-hadoop2.7/conf/
[lsy@master01 conf]$ scp spark-defaults.conf slave02:/opt/module/spark-2.1.1-bin-hadoop2.7/conf/
- 启动集群
spark安装目录下
sbin/start-all.sh
http://master01:8080可以登录spark管理界面,查看集群状态
- 启动历史服务器
spark安装目录下
sbin/start-history-server.sh
http://master01:4000可以登录历史服务器界面
- 进入集群命令行
bin/spark-shell --master spark://master01:7077
- 用wordcount测试
scala> sc.textFile("./LICENSE").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
scala> :quit
运行时,可以在spark管理界面查看运行中的application
退出集群命令行之后,spark管理界面运行中的application消失,此时可以在历史服务器界面查看