Hadoop UserGroupInformation 的那些 login

最新推荐文章于 2024-08-05 20:59:55 发布

wujun8

最新推荐文章于 2024-08-05 20:59:55 发布

阅读量1.6w

点赞数 2

分类专栏： Hadoop 文章标签： hadoop ugi

本文链接：https://blog.csdn.net/wujun8/article/details/39501055

版权

本文介绍了在使用Hadoop MapReduce时如何与UserGroupInformation交互，特别是在Yarn上进行其他操作时的用户身份切换。通过探讨Hadoop认证过程，作者遇到并解决了使用用户名/密码和keytab登录失败的问题，根源在于Kerberos配置不正确。文章还提到了Secure Impersonation功能，允许认证用户伪装成其他用户。最后，根据需求选择合适的认证方法。

摘要由CSDN通过智能技术生成

如果你只是单纯地使用 Hadoop 的 MapReduce, 也许压根就不需要了解还有个 UserGroupInformation.

当你需要在 Yarn 上做些其它工作时，就必须与 UserGroupInformation 打交道。

先了解下 Hadoop Authentication

然后说明下我要做的是，在当前 jvm 进程的用户并非欲提交作业的用户的情况下，成功切换用户身份信息。

第一个尝试就是直接用用户名、密码登录，生成 Subject, 再调用 UserGroupInformation.loginUserFromSubject(), 起初是一直没有成功，怀疑需要本地系统中存在集群的这个用户才行，添加了用户后还是行不通。只能放弃，转而使用 UserGroupInformation.loginUserFromKeytab(), 居然是同样的错误。经过多方排查，问题的根源定位到 Kerberos 的配置不正确， Kerberos 需要一个 krb5.conf 来指定 kdc 服务器、realm 等配置

[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 default_realm = EXAMPLE.COM
 dns_lookup_realm &