org.apache.hadoop.security.AccessControlException 解决办法

异常1:

上传文件到hdfs，找不到文件

异常2:

spark-shell启动报错

org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

异常3：

远程提交任务给Hadoop 可能会遇到 “org.apache.hadoop.security.AccessControlException:Permission denied: user=…”

异常4:

如果是spark on YARN， 也同样会遇到类似的问题

分析

为什么产生异常信息：
原因很简单，因为远程提交的情况下如果没有hadoop 的系统环境变量，就会读取当前主机的用户名，所以Hadoop集群的节点中没有该用户名的权限，所以出现的异常。

解决：

方法1.

    将：export HADOOP_USER_NAME ＝ hdfs 

    添加到 ~/.bash_profile 中，然后执行

    source  ~/.bash_profile

注意：~/.bash_profile只对当前用户有效。每个用户有一个 ~/.bash_profile文件。

方法2.

    将System.setProperty("HADOOP_USER_NAME”,“hdfs”);     

    添加到代码的main方法首部，

    该语句的意思是修改代码的系统变量HADOOP_USER_NAME的内容为hdfs

当然，也可以使用网上常说的修改hadoop的配置文件来解决该问题。