Hadoop 教程 - Hadoop HDFS Trash垃圾回收详解

Hadoop HDFS的Trash（回收站）机制是为了防止误删重要文件而设计的，它允许用户在文件被永久删除之前有机会恢复。以下是HDFS Trash垃圾回收机制的详细说明：

1. 开启与配置

• 启用Trash：默认情况下，HDFS的Trash机制是禁用的。要启用此功能，你需要在Hadoop集群的core-site.xml配置文件中设置fs.trash.interval参数。这个参数定义了文件或目录在被永久删除前，在Trash中保留的时间（单位为分钟）。例如，设置fs.trash.interval为1440分钟（即一天），意味着文件被删除后，会在Trash中保留24小时。

<property>
  <name>fs.trash.interval</name>
  <value>1440</value>
</property>

• trash.checkpoint.interval：此参数定义了Trash检查点的间隔时间，即多久触发一次检查并清理达到保留时间的文件。这个值应该小于或等于fs.trash.interval。

2. 工作原理

当用户使用hadoop fs -rm或hadoop fs -rmr命令删除文件或目录时，文件并不会立即从HDFS中移除，而是被移动到用户家目录下的.Trash目录下的一个以当前日期命名的子目录（如.Trash/Current）。在这个“回收站”里，文件会根据fs.trash.interval设置的时间长度保留。

3. 清理过程

• 自动清理：在达到配置的保留时间后，HDFS的后台进程会自动清理这些文件。用户也可以手动执行hadoop fs -expunge命令立即触发清理过程，强制立即删除所有已过期的Trash内容。

• 恢复文件：在文件未被最终删除前，用户可以从Trash中恢复文件，只需将其从.Trash目录中移回到原来的路径即可。

4. 注意事项

• 如果fs.trash.interval设置为0，Trash功能将被禁用，删除操作会立即生效，文件将无法恢复。
• 使用-skipTrash选项可以跳过Trash直接删除文件，适用于确定无疑要删除且无需备份的情况。
• 对于大规模生产环境，建议设置较长的保留时间，如7天或14天，以减少因误删导致的数据丢失风险。

5. 实践建议

• 定期监控Trash占用的空间，确保它不会耗尽HDFS的存储资源。
• 教育用户关于Trash的使用，避免滥用和误用。
• 在进行重要删除操作前，考虑备份策略，即使有Trash机制，额外的备份也是重要的安全措施。

通过以上步骤和注意事项，你可以有效地管理和利用HDFS的Trash机制，保护数据免受意外删除的影响。