问题:新装cdh5.9,使用新建的hadoop用户运行spark没有问题,但是查看spark history的时候发现无法查看
但是发现文件是存在的:
如图可见:发现系统默认是用spark用户运行的,使用hadoop fs -chown -r spark:spark 后历史文件可以查看,但是hadoop用户新执行的任务都是hadoop:hadoop仍然不可以查看。故怀疑是执行的用户造成的问题。
找到系统用户,修改spark用户为hadoop,另外问题是需要你在各台机器上都要创建hadoop用户,问题解决。