使用java访问HDFS特别是HDFS没有开启ACLS的情况下,如果未正确指定用户,HDFS会使用当前用户进行访问,如果当前用户是administrator、root等用户可能对HDFS没有访问权限,此时我们能够想到的有以下几种解决方案
1.将hdfs目录权限改为当前用户
2.使用hdfs上面的用户启动程序
3.在程序里面指定,其中XXXXXXX代表有权限的用户名
System.setProperty("HADOOP_USER_NAME","xxxxxxxx");
当然我们是推崇第三种方法的,但是有时候会发现我们按照第三种方式去设置后没有生效,特别是springboot父子项目中其他项目也用到了非公共包的hdfs的情况下可能出现这种情况;
先说解决方案,让所有的HDFS的Configuration在设置前都设置环境变量System.setProperty("HADOOP_USER_NAME","xxxxxxxx");
原因,HDFS在初始化配置的时候会创建查找用户,如果某个先注入的bean中创建了没有指定用户名的Configuration则后面的不会覆盖整个设置,所以造成后面设置的用户名不生效的问题