Hadoop Authentication

JAAS是Java 认证和授权服务(Java Authentication and Authorization Service)的缩写,是PAM框架的Java实现。

javax.sercurity.auth.Subject是一个不可继承的实体类,它表示单个实体的一组相关信息,与请求的来源相关。

javax.security.auth.Principal是一个接口,表示带有不同类型凭证的标识,基本上来说,Principal可以是任意对象。

JAAS的授权机制主要就是围绕着Subject和Principal。关于JAAS比较详细的参考是这里:http://docs.oracle.com/javase/6/docs/technotes/guides/security/jaas/JAASRefGuide.html

几个比较重要的java属性:

java.security.krb5.realm

java.security.krb5.kdc

java.security.krb5.conf

 

 

hadoop的身份认证和授权都是建立在JAAS之上。

hadoop.security.authentication属性有2种值:

simple: Security is disabled。

kerberos: Security is enabled。

org.apache.hadoop.security.UserGroupInformation有一个静态方法:getCurrentUser()。它会返回一个UserGroupInformation类的实例(以下简称UGI)。如果subject为空,或者这个subject中与org.apache.hadoop.security.User对应的Principal为空,那么说明尚未登录过,调用getLoginUser()创建UserGroupInformation的实例。

getLoginUser()的流程:

1.创建LoginContext:

name:如果hadoop.security.authentication等于”kerberos”,那么是“hadoop-user-kerberos”或者“hadoop-keytab-kerberos”,否则是“hadoop-simple”。它的主要作用是作为appName传递给UserGroupInformation.HadoopConfiguration.getAppConfigurationEntry(String appName)方法。

subject:

callbackHandler: 空

Configuration: UserGroupInformation.HadoopConfiguration的实例。

2.login.login();

这个会调用HadoopLoginModule的login()和commit()方法。

HadoopLoginModule的login()方法是一个空函数,只打印了一行调试日志 LOG.debug("hadoop login");

commit()方法负责把Principal添加到Subject中。

此时一个首要问题是username是什么?

在使用了kerberos的情况下,从javax.security.auth.kerberos.KerberosPrincipal的实例获取username。

在未使用kerberos的情况下,优先读取HADOOP_USER_NAME这个系统环境变量,如果不为空,那么拿它作username。否则,读取HADOOP_USER_NAME这个java环境变量。否则,从com.sun.security.auth.NTUserPrincipal或者com.sun.security.auth.UnixPrincipal的实例获取username。

如果以上尝试都失败,那么抛出异常LoginException("Can't find user name")。

最终拿username构造org.apache.hadoop.security.User的实例添加到Subject中。

 

测试登录:

HADOOP_JAAS_DEBUG=true HADOOP_ROOT_LOGGER=DEBUG,console  bin/hadoop  org.apache.hadoop.security.UserGroupInformation

其中,UGI应该是这样的形式:

UGI: host/xx.xx.xx.com@xx.xx.com (auth:KERBEROS)

如果是下面这样,就说明错了

12/03/28 18:44:52 DEBUG security.Groups: Returning fetched groups for 'app_admin' 
Groups: app_admin 
UGI: app_admin (auth:KERBEROS) 
Auth method KERBEROS 
Keytab false

据我观察,目前好像只有hadoop内部的通信可以用keytab。如果想在shell下执行bin/hdfs什么的,还是得手动调用kinit。而且,我不知道hadoop用keytab登录后,把Ticket cache放哪了。好像跟系统默认的不一样。

 

在执行kinit的时候,如果没有root权限,可以用KRB5_CONFIG这个环境变量来指定krb5.conf的位置。这个在kinit的文档中并没有提到,它只提到了KRB5CCNAME和KRBTKFILE。

### Hadoop身份验证机制与配置 #### 安全集群的要求 当命令未在一个安全的集群上执行时,`--secure`选项会使得操作失败。这意味着如果集群的安全认证方式被显式或隐式设置为简单模式,则该条件成立: ```xml <property> <name>hadoop.security.authentication</name> <value>simple</value> </property> ``` 这种情况下,任何尝试使用`--secure`参数的操作都将终止并返回错误[^1]。 #### 身份验证配置文件的位置及其修改 对于希望增强Hadoop安全性的情况,可以考虑重新打包`hadoop-auth`库,并将其放置于`${HADOOP_HOME}/share/hadoop/common/lib`目录下以替代原有的版本[^2]。此过程允许管理员应用自定义的身份验证逻辑或是修复已知漏洞。 #### 委托令牌的工作原理 在Hadoop框架内,为了支持长时间运行的应用程序和服务间通信,引入了基于HMAC算法生成和校验的委托令牌(Delegation Token)。这些令牌包含了两个主要组成部分——公开信息与私密数据;其中前者用于索引后者,在服务端通过散列表形式保存下来以便快速查找匹配项[^3]。 #### 用户认证模型概述 Kerberos架构提供了强大的网络环境下的单点登录解决方案,适用于分布式计算平台如Apache Hadoop。它不仅能够有效管理用户凭证而且还能确保跨域资源访问控制的有效实施。图1展示了典型的Kerberos体系结构如何实现用户鉴权流程[^4]。 ```mermaid graph LR; A[User] --> B(KDC); B --> C[Ticket Granting Server]; C --> D(Resource Server); D --> E(Application Service); style A fill:#f96,stroke:#333,stroke-width:4px style B fill:#bbf,stroke:#000,stroke-width:4px style C fill:#bdf,stroke:#000,stroke-width:4px style D fill:#8bf,stroke:#000,stroke-width:4px style E fill:#8ff,stroke:#000,stroke-width:4px ``` 上述图表描绘了一个典型的企业级环境中各组件之间的交互关系,包括但不限于客户端、密钥分发中心(Key Distribution Center)、票据授予服务器以及最终的目标应用程序服务。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值