22.Spark不能查看到历史作业分析

22.1 问题情况

• Spark的HistoryServer能正常查看之前的历史作业日志，但新提交的作业在执行完成后未能在HistoryServer页面查看。

1. 分别使用root和ec2-user用户执行作业
2. 通过sparkHistory Server可以正常查看到所有历史作业
3. 将/user/spark/applicationHistory目录的所属组修改为supergroup，再次执行作业

sudo –u hdfs hadoop dfs –chown  spark:supergroup /user/spark/applicationHistroy

4. HDFS上正常记录了spark作业日志，但作业所属group为supergroup
5. sparkHistoryServer报异常，没有权限访问历史job目录
6. 在History Server未查看到刚执行完成的007作业

• 由于/user/spark/applicationHistory目录的所属组为supergroup，导致所有用户作业的目录均为supergroup组，之前能正常查看的历史作业由于目录的所属组任为spark。

22.2 解决方法

• 将/user/spark/applicationHistory目录及该目录下的子目录所属组修改为spark

sudo –u hdfs  hadoop dfs –chgrp –R spark /user/spark/applicationHistory

• 修改后所有历史作业均可正常查看

大数据视频推荐：
CSDN
大数据语音推荐：
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通