Stack trace: ExitCodeException exitCode=15 OR File does not exist: hdfs:/spark2-history

spark on yarn集群运行程序报错:Stack trace: ExitCodeException exitCode=15:

查看yarn的聚合日志,将日志下载下来查看。

yarn logs -applicationId application_1522668922644_40211 -out ./info

发现日志内的错误如下

java.io.FileNotFoundException: File does not exist: hdfs:/spark2-history

是因为在HDFS上没改文件夹,然后我们去创建

# hdfs dfs -mkdir /spark2-history

有发现我们没有权限

 

产生问题原因:

      环境hadoop2,Ambari创建

      使用# hdfs dfs -mdkir /spark2-history创建文件路径时,出现权限问题

无论是用 # sudo hadoop fs -mkdir /spark2-history建立文件 还是 put文件,都会显示

       Permission denied: user=root, access=WRITE, inode="/spark2-history" :hdfs:hdfs:drwxr-xr-x
之类的错误,面对这个错误我们改如何解决那?

其实是这样的,/spark2-history这是文件的所有者是HDFS  权限为755  也就是只有HDFS才能对这个文件进行sudo的操作

那么接下来我们便可以这样操作文件

    # sudo -u hdfs hadoop fs -mkdir /spark2-history    我们可以以hdfs的身份对文件进行操作

        

如果出入#  sudo -u hdfs -dfs  -chmod 777 /spark2-history  那么结果便是将/spark2-history的读写执行权限修改。

       

 

在通过hdfs用户更改所在用户的权限

     #  sudo -u hdfs hadoop fs -chown spark:hadoop /spark2-history

        

完美OK啦

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值