spark历史日志问题

启动命令报如下错误提示：

 

个人配置如下：spark-default.conf

spark-env.sh配置如下：

yarn-site.xml配置如下：

解决方式是在hdfs-site.xml中添加如下配置：

关闭权限验证，重新启动即可

sbin/stop-history-server.sh

sbin/stop-history-server.sh

<property>
                <name>dfs.permissions</name>
                <value>false</value>
                <description>The number of server threads for the namenode.</description>
        </property>

 

执行spark-submit任务简单测试：

bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client ./examples/jars/spark-examples_2.11-2.1.1.jar 100

点击yarn-web ui 查看任务：