Hadoop或hive用户名和本地主机用户名不一样，不能读写

简介：解决Hadoop或hive集群用户名不一样不能读写，配置了用户名不生效的问题。
解决spark跨集群写hive、hdfs用户名不一致，不能读写的问题。

一、配置用户名

这种情况我们就需要在程序配置用户，通过HADOOP_USER_NAME配置，有两种方法：

1、程序main方法第一行指定用户名：System.setProperty(“HADOOP_USER_NAME”, “bigdata”)

2、spark运行脚本指定：–conf “HADOOP_USER_NAME=bigdata”

注意：程序指定了HADOOP的用户名但不生效，还是出现以下异常。

Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=search, access=WRITE, inode="/hive/warehouse/sss.db/s_user_tmp":bigdata:supergroup:drwxrwxr-x
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:260)
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:240)
	at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:162)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:152)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3529)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:3512)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:3494)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkAncestorAccess(FSNamesystem.java:6599)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:4384)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInt(FSNamesystem.java:4354)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4327)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:873)
	......

二、不生效解决办法

原因：项目应该不是打的胖jar，spark在运行程序会先将项目的依赖jar上传到Hadoop，此时直接就使用了本机用户名，导致配置的用户名不生效。

解决办法：pom文件导入fatjar插件，打包，不要提交任何依赖，修改运行脚本，重新执行就OK啦。

<!--创建fatjar插件-->
<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-shade-plugin</artifactId>
    <version>2.4.3</version>
    <executions>
        <execution>
            <phase>package</phase>
            <goals>
                <goal>shade</goal>
            </goals>
            <configuration>
                <filters>
                    <filter>
                        <artifact>*:*</artifact>
                        <excludes>
                            <exclude>META-INF/*.SF</exclude>
                            <exclude>META-INF/*.DSA</exclude>
                            <exclude>META-INF/*.RSA</exclude>
                        </excludes>
                    </filter>
                </filters>
            </configuration>
        </execution>
    </executions>
</plugin>

此时你又发现有异常信息，不用理会，程序是正常运行的。

出现这个异常的原因：hadoop去运行程序服务器验证用户，结果没有找到这个用户，就出现的异常。

WARN ShellBasedUnixGroupsMapping: unable to return groups for user bigdata
PartialGroupNameException The user name 'bigdata' is not found. id: bigdata: No such user
id: bigdata: No such user
	at org.apache.hadoop.security.ShellBasedUnixGroupsMapping.resolvePartialGroupNames(ShellBasedUnixGroupsMapping.j
ava:294)
	at org.apache.hadoop.security.ShellBasedUnixGroupsMapping.getUnixGroups(ShellBasedUnixGroupsMapping.java:207)
	at org.apache.hadoop.security.ShellBasedUnixGroupsMapping.getGroups(ShellBasedUnixGroupsMapping.java:97)
	at org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback.getGroups(JniBasedUnixGroupsMappingWithFallb
ack.java:51)
	at org.apache.hadoop.security.Groups$GroupCacheLoader.fetchGroupList(Groups.java:387)
	at org.apache.hadoop.security.Groups$GroupCacheLoader.load(Groups.java:321)
	at org.apache.hadoop.security.Groups$GroupCacheLoader.load(Groups.java:270)
	.....

idea直接配置就可以

-DHADOOP_USER_NAME=用户名