Hadoop 教程 - Hadoop HDFS Transparent Encryption透明加密

Hadoop HDFS的透明加密（Transparent Encryption）功能允许用户在不修改应用程序代码的情况下，对存储在HDFS上的数据进行加密，从而提高数据的安全性。以下是关于Hadoop HDFS透明加密的一些关键点：

1. Encryption Zones（加密区域）

• 概念：透明加密的核心概念是加密区域（Encryption Zones）。一个加密区域是一个特殊的目录，在这个目录下创建的所有文件和子目录都会自动进行加密。
• 创建：要创建一个加密区域，管理员需要指定一个密钥（通过KMS，即Key Management Service），并指定一个目录作为加密区域的根。例如，使用命令hdfs crypto -createZone -keyName myKey -path /encrypted-directory。

2. Key Management Service (KMS)

• 作用：KMS负责加密密钥的管理，包括密钥的生成、存储、轮换和撤销。它是Hadoop安全基础设施的一部分。
• 实现：KMS通常以Java Web应用的形式运行在与Hadoop集成的Tomcat服务器上，提供了RESTful API供HDFS客户端和其它服务调用。

3. 数据加密流程

• Data Encryption Key (DEK)：每个文件有一个唯一的数据加密密钥（DEK），用于实际的数据加密和解密。
• Encrypted Data Encryption Key (EDEK)：为了安全存储DEK，HDFS使用EDEK，即经过加密的DEK，存储在文件的元数据中。
• 加密与解密：当客户端写入数据时，会向KMS请求解密EDEK，然后使用得到的DEK加密数据。读取时，过程相反，客户端先解密EDEK获得DEK，再解密数据。

4. 安全性

• 端到端加密：数据在传输过程中（如复制到其他DataNodes）也是加密的，确保了数据在整个生命周期中的安全性。
• 隔离性：即使DataNode被攻破，攻击者也无法直接读取原始数据，因为没有DEK。

5. 配置与管理

• 透明加密功能需要在Hadoop集群中进行适当配置，包括KMS的部署、密钥的管理策略设定等。
• 管理员需要监控KMS的运行状态，定期执行密钥轮换等安全操作，以维护系统的安全性。

综上所述，Hadoop HDFS的透明加密特性为大数据存储提供了一层额外的安全保障，确保敏感数据即使在存储层也不易被非法访问，同时保持了对现有应用程序的透明性，减少了因安全需求而进行代码修改的工作量。