1 文档编写目的
在Kerberos环境中,我们的应用程序通过Java代码来提交任务需要先进行Kerberos凭证的初始化然后进行应用程序的提交,本文档主要讲述Java应用程序中读取krb5.conf 中配置ticket_lifetime 参数不生效的异常分析。
- 测试环境
1.CM和CDH版本为5.15.1
2.操作系统版本为RedHat7.2
3.集群已启用Kerberos
4.JDK 1.8.131
2 问题描述
首先我们先在Linux 上Kerberos 客户端机器上修改ticket_lifetime和renew_lifetime 验证该参数的有效性,将ticket_lifetime 设置为20s,为了避免超时自动续期将renew_lifetime也设置为20S
ticket_lifetime = 20s (默认值24h)
renew_lifetime = 20s (默认值7d)
然后执行HDFS文件查看命令去查看,可以看到第一次成功,而第二次显示没有找到Kerberos凭证,说明已经过期,而我们在上图中可以看到过期时间为17:24:52,第二次命令执行的时间为17:24:59 ,表明在Linux的客户端机器上正常执行
然后看在Java代码中的表现,首先修改krb5.conf的配置
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TKPwTW48-1573353770368)(https://ask.qcloudimg.com/http-save/yehe-1522219/w48ng68p6e.jpeg)]
代码如下:
然后执行,这里在获取凭证后延时了30S,再执行创建文件命令
发现依旧创建成功,没有任何异常,并且打印的凭证过期时间为1天后的时间,说明在krb5.conf 中设置的ticket_lifetime 是无效的
3 问题分析
基于上述在Java代码中修改ticket_lifetime不生效的问题,起初认为是Windows客户端的问题,于是将代码和依赖包一起打jar包上传到Linux 系统的Kerberos客户端机器上执行,并且修改/etc/krb5.conf 的ticket_lifetime 和renew_lifetime 设置为20S
java -jar hdfs-demo-1.0-SNAPSHOT-jar-with-dependencies.jar
发现凭证的有效期仍然是1天,并且文件夹创建成功,无任何异常。
这说明并不是客户端机器的问题,而是Java程序的问题,于是便DEBUG代码进行分析
发现在UGI类中,执行完UGI. loginUserFromKeytab()函数中执行login.login() 函数后,在对象 subject 中发现凭证信息,并且有效期显示1天
DEBUG到KerberosUtils类查看,发现获取Realm 和 获取服务凭证相关的函数,也没有任何关于凭证效期的函数,继续往下看
一直下一步看下去,找到一个Krb5LoginModule类,于是查看一下,该类中也没有任何有关ticket_lifetime 的属性或者函数
在前面的一步我们已经知道凭证的有效期是在login.login() 函数后就能在subject对象中看到的,而login.login()实际上调用的是LoginContext 类中的invokePriv()函数,而invokePriv()函数实际调用的是invoke() 函数。
invokePriv() 函数如下:
在下图中我们可以看到invoke() 函数还没执行完成,凭证的信息包括有效期止的日期已经出来,但是没有具体时间,凭证的startTime为null ,但是endTime 已经显示为1天后。说明执行login.login()的时候就已经指定了凭证的有效期日期为1天,也就是程序并没有读取ticket_lifetime 和renew_lifetime 参数。所以不论你krb5.conf 中是否有ticket_lifetime 和renew_lifetime 参数并不会改变凭证的有效时间。invoke() 函数如下:
为了验证程序并没有读取ticket_lifetime 和renew_lifetime 参数,我们使用设置系统参数的方式来验证,注释掉krb5.conf 文件然后执行。
System.setProperty("java.security.krb5.kdc","cdh4.macro.com:21732");
System.setProperty("java.security.krb5.realm","MACRO.COM");
发现代码仍然正常运行,并且凭证有效期依旧是1天
那么有System.setProperty(“java.security.krb5.ticket_lifetime”,“20s”); 这样的参数吗,结果是即使添加了该属性,结果仍是一样,代码中并没有读取该值。
4 结论
经过对代码的分析得出结果,目前在java 8中hadoop-client ,hadoop-common 包并不支持设置Kerberos凭证的有效期。在Java bug 记录中显示在Java 9中显示已支持该参数功能,但是目前Hadoop 不支持Java 9就无法验证该问题了。
参考文档:
https://stackoverflow.com/questions/38555244/how-do-you-set-the-kerberos-ticket-lifetime-from-java
https://bugs.java.com/bugdatabase/view_bug.do?bug_id=8044500