进入到Spark安装目录
cd /home/bigdata/hadoop/spark-2.1.1-bin-hadoop2.7/conf
将spark-default.conf.template复制为spark-default.conf
修改spark-default.conf文件,开启Log:
hdfs上的这个目录最好还是提前创建吧
改spark-env.sh文件,添加如下配置:
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://qf/sparklog"
在HDFS上创建好你所指定的eventLog日志目录。
上面是hdfs的ha的配置 报错 所以我将hadoop里面的core-site.xml 和 hdfs-site.xml 文件拿到spark的conf下面就可以了
Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: qf
先看一下spark是否启动
是访问8080端口 不是7077
成功
下面为 不是高可用的hdfs 的配置
spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master01:9000/directory
spark.eventLog.compress true
spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000
-Dspark.history.retainedApplications=3
-Dspark.history.fs.logDirectory=hdfs://master01:9000/directory"
参数描述:
spark.eventLog.dir:Application在运行过程中所有的信息均记录在该属性指定的路径下;
spark.history.ui.port=4000 调整WEBUI访问的端口号为4000
spark.history.fs.logDirectory=hdfs://master01:9000/directory 配置了该属性后,在start-history-server.sh时就无需再显式的指定路径,Spark History Server页面只展示该指定路径下的信息
spark.history.retainedApplications=3 指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。
将配置好的Spark文件拷贝到其他节点上