【kerberos】hadoop集群使用keytab认证的逻辑_centos 8 hadoop-2(1)

最新推荐文章于 2024-10-02 08:23:00 发布

2401_84183070

最新推荐文章于 2024-10-02 08:23:00 发布

阅读量824

点赞数 15

分类专栏： 2024年程序员学习文章标签： hadoop centos 大数据

本文链接：https://blog.csdn.net/2401_84183070/article/details/137661982

版权

2024年程序员学习专栏收录该内容

60 篇文章 0 订阅

订阅专栏

以上环境变量常用的有
KRB5_CONFIG ：krb5.conf或krb5.ini文件路径
KRB5CCNAME：kerberos cache文件路径（注：此文件可由MIT kerberos客户端生成）

二、具体认证步骤

1、krb5.conf信息配置

注意：UserGroupInformation中设置KRB5_CONFIG是没有用的，必须要设置java.security.krb5.conf

如下方法都可以：
（1）项目启动指定java vm变量：-Djava.security.krb5.conf=D:/xxx/xxx/krb5.conf
（2）程序中指定：System.setProperty("java.security.krb5.conf", "D:/xxx/xxx/krb5.conf")

如果不指定程序会找不到kdc，报异常，如下：

org.apache.hadoop.security.KerberosAuthException: failure to login: for principal: xxx@HADOOP.COM from keytab D:\xxx\xxx\xxx.keytab javax.security.auth.login.LoginException: null (68)
Caused by: javax.security.auth.login.LoginException: null (68)
Caused by: KrbException: null (68) 
Caused by: KrbException: Identifier doesn't match expected value (906)

2、hadoop conf信息配置

Hadoop configuration配置（类org.apache.hadoop.conf.Configuration）
文档中明确了：会默认加载类路径下的core-default.xml文件内容。

Unless explicitly turned off, Hadoop by default specifies two resources, loaded in-order from the classpath:
core-default.xml: Read-only defaults for hadoop.
core-site.xml: Site-specific configuration for a given hadoop installation.

core-default.xml中含有hadoop的安全配置hadoop.security.authentication，在UserGroupInformation中依据此项配置，查询集群是否启动kerberos。
HADOOP_SECURITY_AUTHENTICATION路径如下：
org.apache.hadoop.fs.CommonConfigurationKeysPublic#HADOOP_SECURITY_AUTHENTICATION

  public static AuthenticationMethod getAuthenticationMethod(Configuration conf) {
    String value = conf.get(HADOOP\_SECURITY\_AUTHENTICATION, "simple");
    try {
      return Enum.valueOf(AuthenticationMethod.class,
          StringUtils.toUpperCase(value));
    } catch (IllegalArgumentException iae) {
      throw new IllegalArgumentException("Invalid attribute value for " +
          HADOOP\_SECURITY\_AUTHENTICATION + " of " + value);
    }
  }

所以如果在环境变量中配置了HADOOP_HOME或者HADOOP_CONF_DIR对于UserGroupInformation是没有用的。
必须将core-site.xml放在类路径下，或者直接调用org.apache.hadoop.security.UserGroupInformation#setConfiguration设置加载过core-site.xml的conf对象。

3、UserGroupInformation认证

3.1 、apache原生的UserGroupInformation验证：

UserGroupInformation类中使用静态变量存放hadoop conf和已认证用户信息，所以只需要程序中认证一次，不同类不需要传递认证的user，只需要都到UserGroupInformation取即可。

    private static Configuration conf;
    private static UserGroupInformation loginUser = null;
    private static String keytabPrincipal = null;
    private static String keytabFile = null;

调用org.apache.hadoop.security.UserGroupInformation#loginUserFromKeytab传入principal和keytab就可以完成认证。

3.2、cloudera改良过的UserGroupInformation验证：

当然，可以调用原生的loginUserFromKeytab也可以。

改良内容就是通过配置环境变量的方法，隐性完成kerberos用户认证。无需UserGroupInformation认证，在调用getLoginUser可以自动完成认证。
具体过程如下：
org.apache.hadoop.security.UserGroupInformation#getLoginUser方法获取用户

  public static UserGroupInformation getLoginUser() throws IOException {
  ...
    if (loginUser == null) {
      UserGroupInformation newLoginUser = createLoginUser(null);
      ... 
      }
  }

实际是调用了doSubjectLogin(null, null)

  UserGroupInformation createLoginUser(Subject subject) throws IOException {
    UserGroupInformation realUser = doSubjectLogin(subject, null);
    ...
 }

如下代码subject == null && params == null判断true

 private static UserGroupInformation doSubjectLogin(
      Subject subject, LoginParams params) throws IOException {
    ensureInitialized();
    // initial default login.
    if (subject == null && params == null) {
      params = LoginParams.getDefaults();
    }
    HadoopConfiguration loginConf = new HadoopConfiguration(params);
    try {
      HadoopLoginContext login = newLoginContext(
        authenticationMethod.getLoginAppName(), subject, loginConf);
      login.login();
...
  }

获取环境变量：KRB5PRINCIPAL、KRB5KEYTAB、KRB5CCNAME

  private static class LoginParams extends EnumMap<LoginParam,String>
      implements Parameters {
      ...
    static LoginParams getDefaults() {
      LoginParams params = new LoginParams();
      params.put(LoginParam.PRINCIPAL, System.getenv("KRB5PRINCIPAL"));
      params.put(LoginParam.KEYTAB, System.getenv("KRB5KEYTAB"));
      params.put(LoginParam.CCACHE, System.getenv("KRB5CCNAME"));
      return params;
    }
  }

结果是利用环境变量设置的pricipal+keytab或者cache认证。
环境变量配置：
（1）每个程序单独配置：
在-DKRB5PRINCIPAL=xxx -DKRB5KEYTAB=xxx 或者 -DKRB5CCNAME=xxx

（2）系统环境默认配置：
win环境如下：
在这里插入图片描述