HDFS加密存储（Ranger集成KMS方式）

1、什么是HDFS透明加密？

HDFS Encryption Zone加密空间，即HDFS透明加密，是一种端到端的加密模式，其中的加/解密过程对于客户端来说是完全透明的。数据在客户端读操作的时候被解密，当数据被客户端写的时候被加密，所以HDFS服务端本身并不是一个主要的参与者。形象地说，在HDFS服务端，你看到的只是一堆加密的数据流。

这个功能作用就是保证处于加密空间内的数据不被非法查询，只有经过认证的客户端才能查看解密内容

2、Hadoop Key Management Server (KMS)

Hadoop KMS是一个基于Hadoop KeyProvider API的加密密钥管理服务器。它提供了一个使用REST API通过HTTP进行通信的客户端和服务器组件。客户端是一个KeyProvider实现与KMS交互使用KMS HTTP REST API。KMS及其客户端具有内置的安全性，它们支持HTTP SPNEGO Kerberos身份验证和HTTPS安全传输。KMS是一个Java Jetty网络应用程序。

3、Ranger 集成KMS

1、${rangerhome}/ranger-kms/install.properties设置如下

2、install/lib中添加commons-lang3-3.4.jar和 commons-compress-1.19.jar （这是因为安装时报了相关jar包缺失的问题，没有包相关异常，不必做这一步）

3、/opt/beh/core/ranger/ranger-kms/ews/webapp/lib/curator-.jar替换成与${hadoop}/share/hadoop/common/lib中的一致。（这一步同样报了异常才进行，这里报的是curator-.jar包冲突）
4、修改配置文件dbks-site.xml、kms-site.xml及hdfs-site.xml
4.1 dbks-site.xml文件

  <property>
        <name>ranger.ks.jpa.jdbc.password</name>
        <value>123456</value>
    </property>
    <property>
        <name>ranger.ks.jpa.jdbc.url</name>
        <value>jdbc:log4jdbc:mysql://数据库ip:3306/kms_82</value>
    </property>
    <property>
        <name>ranger.ks.jpa.jdbc.user</name>
        <value>root</value>
    </property>

4.2 kms-site.xml文件

 <property>
    <name>hadoop.kms.key.provider.uri</name>
    <value>dbks://http@hadoop01.bonc.com:9292/kms</value>
    <description>
      URI of the backing KeyProvider for the KMS.
    </description>
  </property>
 <property>
    <name>hadoop.kms.authentication.type</name>
    <value>kerberos</value>
    <description>
      Authentication type for the KMS. Can be either &quot;simple&quot;
      or &quot;kerberos&quot;.
    </description>
  </property>

  <property>
    <name>hadoop.kms.authentication.kerberos.keytab</name>
    <value>/opt/beh/metadata/key/hadoop.keytab</value>
    <description>
      Path to the keytab with credentials for the configured Kerberos principal.
    </description>
  </property>

  <property>
    <name>hadoop.kms.authentication.kerberos.principal</name>
    <value>HTTP/hadoop01.bonc.com@BONC.COM</value>
    <description>
      The Kerberos principal to use for the HTTP endpoint.
      The principal must start with 'HTTP/' as per the Kerberos HTTP SPNEGO specification.
    </description>
  </property>

4.3 ${hadoop}/etc/hadoop/core-site.xml配置文件添加以下配置
注：需重启hdfs

<property>
  <name>hadoop.security.key.provider.path</name>
<value>kms://http@hadoop01.bonc.com:9092/kms</value>
  <description>
    The KeyProvider to use when interacting with encryption keys used
    when reading and writing to an encryption zone.
  </description>
</property

5、执行./setup.sh安装ranger-kms.
6、执行ranger-kms start启动ranger-kms
7、添加key

8、keyadmin用户登录Ranger配置kmsdev服务，保存。

9、rangeradmin、hadoop、keyadmin用户授权

若没有rangeradmin用户则添加rangeradmin用户

10、测试连接

11、测试HDFS加密
11.1 查看key信息

11.2 创建空目录(hadoop用户)

hadoop fs -mkdir /jxtest

11.3 创建加密区间

hdfs  crypto -createZone -keyName key -path /jxtest

11.4 查看加密区间内容

hadoop fs -cat  /jxtest/users.txt

此时能正常查看
11.5 剔除hadoop用户

此时不能正常查看

**

Ranger集成KMS采坑记录

**
1、执行setup.sh安装ranger-kms报jar包缺失问题
解决方案：在/opt/beh/core/ranger/ranger-kms/install/lib中添加commons-compress-1.19.jar和 commons-lang3-3.4.jar包。
2、启动ranger-kms时报NoSuchMethodError
org.apache.curator.framework.api.CreateBuilder.creatingParentsIfNeeded()Lorg/apache/curator/framework/api/ProtectACLCreateModeStatPathAndBytesable

解决方案：版本冲突导致，8.2版本仓库中curator-*的jar包相关版本如下。

但是ranger-kms中的curator-*版本如下。

將ranger-kms中的curator-*的jar包版本統一为4.2.0
3、执行ranger-kms 启动在
/opt/beh/core/ranger/ranger-kms/ews/webapp/WEB-INF/classes/conf/ranger-kms-env-hadoopconfdir.sh文件中报错

export RANGER_HADOOP_CONF_DIR=2022-04-14 17:30:44,912  [E] 'hadoop_conf' not found in /opt/beh/core/ranger/ranger-kms/install.properties file while getting....!!

修改/opt/beh/core/ranger/ranger-kms/install.properties中的下列配置，指定hadoop配置文件目录

4、在Ranger中测试连接时报以下异常，授予rangeradmin相应权限即可。

org.apache.ranger.plugin.client.HadoopException: {
	"RemoteException" : {
	"message" : "User:rangeradmin not allowed to do 'GET_KEYS'",
	"exception" : "AuthorizationException",
	"javaClassName" : "org.apache.hadoop.security.authorize.AuthorizationException"
	}
}.

keyadmin用户登录ranger设置如下。