【Spark】二、配置日志服务器【Standalone模式】

Hadoop是可用的，可以访问HDFS

• 进入到spark安装目录，到conf目录下
• 复制spark-defaults.conf.template为spark-defaults.conf

cp spark-defaults.conf.template spark-defaults.conf

• 修改spark默认配置文件：spark-defaults.conf

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://master01:9000/directory

注意：HDFS上的目录directory需要提前存在，即事先创建好

bin/hdfs dfs -mkdir /directory

•  修改spark环境配置：spark-env.sh

# 设置webUI访问端口；内存中保存Application历史记录的个数；日志保存地址
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 
-Dspark.history.retainedApplications=3 
-Dspark.history.fs.logDirectory=hdfs://master01:9000/directory"

将配置好的文件分发给slave01和slave02

[lsy@master01 conf]$ scp spark-env.sh slave01:/opt/module/spark-2.1.1-bin-hadoop2.7/conf/
[lsy@master01 conf]$ scp spark-env.sh slave02:/opt/module/spark-2.1.1-bin-hadoop2.7/conf/
[lsy@master01 conf]$ scp spark-defaults.conf slave01:/opt/module/spark-2.1.1-bin-hadoop2.7/conf/
[lsy@master01 conf]$ scp spark-defaults.conf slave02:/opt/module/spark-2.1.1-bin-hadoop2.7/conf/

• 启动集群

spark安装目录下
sbin/start-all.sh

http://master01:8080可以登录spark管理界面，查看集群状态

• 启动历史服务器

spark安装目录下
sbin/start-history-server.sh

http://master01:4000可以登录历史服务器界面

---

• 进入集群命令行

bin/spark-shell --master spark://master01:7077

• 用wordcount测试

scala> sc.textFile("./LICENSE").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
scala> :quit

运行时，可以在spark管理界面查看运行中的application

退出集群命令行之后，spark管理界面运行中的application消失，此时可以在历史服务器界面查看

---