0686-6.2.0-如何为CDH集群的JDK安装JCE策略文件

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f，或者扫描文末二维码。

1 文档编写目的

默认情况下， CentOS和RedHat5.5或更高的版本中，对Kerberos 票证使用AES-256加密，因此必须在集群所有节点的JDK中安装Java Cryptography Extension（JCE）无限制强度加密策略文件。在安装JCE文件的Kerberos集群中，服务启动时会报“java.security.InvalidKeyException: Illegal key size”异常。本篇文章Fayson主要介绍使用不同方式安装JCE加密策略文件以及如何禁用Kerberos的AES-256加密。

注意：使用JDK 1.8.0_161或更高版本时，不需要再安装JCE Policy File。JDK 1.8.0_161默认启用无限强度加密。

测试环境
1.Redhat7.2
2.采用root用户操作
3.CM/CDH6.2.0

2 手动安装JCE Policy File

1.确认当前CDH集群使用的JDK路径

可以使用“ps -ef”命令查看启动的java服务使用的JDK版本的路径

[root@cdh01 ~]# ps -ef |grep java

从截图中可以看到当前使用的JDK路径为/usr/java/jdk1.8.0_181-cloudera
也可以进入CM主页→主机→主机配置，通过搜索java查看集群配置的JDK目录，如果未配置则说明集群使用CM自带的JDK版本。

2.在Oracle官网下载JCE安装包，地址如下

http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.html

3.将下载的jce_policy-8.zip文件上传集群的任意节点并解压

[root@cdh01 ~]# unzip jce_policy-8.zip

4.把UnlimitedJCEPolicyJDK8目录下的所有jar包拷贝至集群所有节点的${JAVA_HOME}/jre/lib/security目录下

[root@cdh01 UnlimitedJCEPolicyJDK8]# cp *.jar /usr/java/jdk1.8.0_181-cloudera/jre/lib/security

[root@cdh01 UnlimitedJCEPolicyJDK8]# scp *.jar cdh02.hadoop.com:/usr/java/jdk1.8.0_181-cloudera/jre/lib/security
[root@cdh01 UnlimitedJCEPolicyJDK8]# scp *.jar cdh03.hadoop.com:/usr/java/jdk1.8.0_181-cloudera/jre/lib/security

至此完成集群所有节点JDK的JCE加密策略文件。

3 使用CM安装JCE Policy File

1.登陆CM，在浏览器输入http://192.168.0.204:7180/cmf/upgrade-wizard/wizard进入升级界面

2.完成CM私有源配置后，点击“继续”，勾选安装JDK和Java无限制强度界面策略文件

3.点击“继续”，一直继续直到提示完成升级

如上图所示，通过Cloudera Manager引导界面的方式安装JCE加密策略文件就完成了。

4.由于通过CM安装JCE是需要勾选了安装JDK才能复选JCE安装。这里我们把当前安装的Oracle JDK迁移到Open JDK，再通过CM安装JCE来验证JCE是安装到了我自定义的Open JDK中还是安装到了Oracle JDK中。

现在把Oracle JDK迁移到Open JDK，过程省略。迁移后如下图

将集群所有节点的OpenJDK安装目录jre/lib/security下，可以看到JCE安装包都存在，手动把所有节点上的JCE安装包删除。

所有节点的Open JDK的security目录下的JCE安装包删除后如下图

同时也删除/usr/java/jdk1.8.0_181-cloudera/jre/lib/security目录下的JCE策略文件，是CM安装Oracle JDK的默认目录，删除后如下图

再次通过CM的引导界面安装JDK的JCE策略文件，安装完成后，发现Oracle JDK和Open JDK的${JAVA_HOME}/jre/lib/security目录下都没有JCE的策略文件，因为这两个版本的JDK都是默认启用JCE加密的。

这里我继续创建了一个Kerberos账号ace1，可以看到是用的AES-256加密，且集群的服务是可以正常运行。

5.上面的验证并没有将JCE策略文件安装到我们预想的目录下，接着在CDH5.16.2环境下再次测试

删除集群所有节点JDK里面的JCE策略文件，删除后重启CMS出现异常“Cannot locate policy or framework files!”


当前CDH5集群只有这一个JDK安装包

再通过CM引导界面为JDK安装JCE


安装完成后，可以看到集群所有节点都新安装了Oracle JDK 1.7

查看/usr/java/jdk1.8.0_144-cloudera/jre/lib/security目录，依然是跟安装前一样，并未将JCE策略文件安装到指定的JDK8的相应目录下。

根据上面的测试，可以确认通过CM的方式来安装JCE的话，JCE不会安装到当前集群使用的JDK目录下，而是安装在同时勾选的JDK安装目录下（即CM默认自带的JDK目录下）。

4 禁用Kerberos的AES-256加密

1.使用klist -e查看当前Kerberos账号的加密方式，如下图，可以看到默认使用的是AES-256的加密方式

2.接下来修改/var/kerberos/krb5kdc/kdc.conf文件将AES-256加密类型删除

[root@cdh01 krb5kdc]# vim /var/kerberos/krb5kdc/kdc.conf

3.修改完成kdc.conf文件配置后，需要重启kadmin和krb5kdc服务使其生效

[root@cdh01 krb5kdc]# systemctl restart krb5kdc
[root@cdh01 krb5kdc]# systemctl restart kadmin

4.重启完krb5kdc和kadmin服务后，在命令行验证Kerberos账号

kadmin.local:  addprinc enpop1
[root@cdh01 krb5kdc]# kinit enpop1
Password for enpop1@HADOOP.COM: 
[root@cdh01 krb5kdc]# klist -e
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: enpop1@HADOOP.COM

Valid starting       Expires              Service principal
07/03/2019 17:49:56  07/04/2019 17:49:56  krbtgt/HADOOP.COM@HADOOP.COM
        renew until 07/10/2019 17:49:56, Etype (skey, tkt): aes256-cts-hmac-sha1-96, aes256-cts-hmac-sha1-96

注意：通过测试发现，修改配置并未生效显示Principal仍然支持AES-256。因为这个配置是数据库生成的时候配置的，导致修改了kdc配置文件后不能及时生效，需要重建KDC数据库。

5.删除KDC数据库的数据文件，通过如下命令重新生成数据库文件，并重启kadmin和krb5kdc服务，再次添加一个Principal账号，可以看到加密方式中已不支持AES-256

[root@hadoop1 ~]# rm -rf /var/Kerberos/krb5kdc/principal*
[root@hadoop1 ~]# kdb5_util create -r MACRO.COM -s
[root@hadoop1 ~]# systemctl restart kadmin
[root@hadoop1 ~]# systemctl restart krb5kdc
kadmin.local:  addprinc admin/admin@MACRO.COM
[root@hadoop1 krb5kdc]# kinit admin/admin
[root@hadoop1 krb5kdc]# klist -e

5 总结

1.JDK 1.8.0_161之前版本的Java默认的AES最大支持128bit的秘钥，如果使用256bit的秘钥则需要为Java安装JCE Policy File。

2.JDK 1.8.0_161或更高版本的JDK是不需要再安装JCE Policy File，默认已默认启用无限强度加密。

3.可以通过手动或CM引导的方式为CDH集群的JDK安装JCE策略文件。

4.可以使用ps -ef命令查看当前集群使用的JDK路径，也可以通过CM的配置界面查看JDK的HOME目录（CM默认的JDK配置目录为/usr/java/jdk1.xxx-cloudera），C5默认使用JDK7，C6默认使用的JDK8。

5.通过前面的测试发现通过CM的引导界面来为CDH集群的JDK安装JCE策略文件，只能为升级向导中同时安装的JDK（即CM默认自带的JDK）添加JCE策略文件，如果集群使用自定义的JDK版本则需要通过手动的方式安装JCE。

6.要禁用Kerberos的AES-256加密类型时，只是修改kdc.conf配置文件，重启服务后是不会生效的，必须重建KDC数据库。

为天地立心，为生民立命，为往圣继绝学，为万世开太平。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操