fs.trash.interval详解

本文主要介绍hdfs回收站功能，并简单解析参数fs.trash.interval，fs.trash.checkpoint.interval和hadoop.shell.safely.delete.limit.num.files。

回收站简介

回收站功能主要涉及文件或数据的删除和恢复操作。在大多数操作系统和文件管理系统中，回收站都扮演着重要的角色。回收站的主要功能主要有一下几点：

1. 临时存储删除的文件：当用户使用命令hdfs dfs -rm删除文件或文件夹时，这些文件并不是立即永久删除，而是被移动到Trash文件夹中。这使得用户有机会在需要时恢复这些文件。
2. 恢复误删文件：如果用户不小心删除了重要文件，可以通过Trash文件夹里面的数据恢复。
3. 设置删除文件保留时间：可以通过fs.trash.interval的值来这是删除保留时间，超过时间的会被回收线程删除。
4. 自定义回收线程频率：用户还可以通过fs.trash.checkpoint.interval自定义回收线程频率。

总的来说，回收站功能为用户提供了一个安全、方便的途径来管理删除的文件，避免了因误删而导致的数据丢失问题。

参数列表

参数	默认值	描述
fs.trash.interval	0	0代表不开启，大于0代表保留文件时间。单位分钟。
fs.trash.checkpoint.interval	0	单位分钟。
hadoop.shell.safely.delete.limit.num.files	100	文件安全删除最大数量。

fs.trash.interval

fs.trash.interval非0的时候代表回收站开启，单位为分钟。值得注意的是这个参数实际上是在namenode设置才能生效，但是执行文件移动到Trash目录却是在客户端实现。namenode的rpc接口中本质上没有回收站这个概念，只有标准接口delete和rename。客户端首先会通过getServerDefaults获取nn配置的fs.trash.interval参数。fs.trash.interval如果不为0，客户端就会把要删除的文件rename到trashCurrent目录下，trashCurrent默认构成为/user/xxxx(username)/.Trash/current。如果想恢复可以在这个目录找到文件恢复。

fs.trash.checkpoint.interval

fs.trash.checkpoint.interval主要有两个作用：一是定时建议checkpoint，即定时给trash/current做备份；二是定时回收线程的频率，间隔也为此值。值得注意的是trash永久删除也在此定时线程中实现。最后还有一个需要注意的是fs.trash.interval设置大于0以后，fs.trash.checkpoint.interval必须小于等于fs.trash.interval并且大于0，不然fs.trash.checkpoint.interval的值会自动变成fs.trash.interval的值，本质是确保永久删除文件会定期执行。

hadoop.shell.safely.delete.limit.num.files

安全删除的最大文件数，默认值为100。使用命令hdfs dfs -rm -safely删除时，会使用安全删除。

private boolean canBeSafelyDeleted(PathData item)
        throws IOException {
      boolean shouldDelete = true;
      if (safeDelete) {
        final long deleteLimit = getConf().getLong(
            HADOOP_SHELL_SAFELY_DELETE_LIMIT_NUM_FILES,
            HADOOP_SHELL_SAFELY_DELETE_LIMIT_NUM_FILES_DEFAULT);
        if (deleteLimit > 0) {
          ContentSummary cs = item.fs.getContentSummary(item.path);
          final long numFiles = cs.getFileCount();
          if (numFiles > deleteLimit) {
            if (!ToolRunner.confirmPrompt("Proceed deleting " + numFiles +
                " files?")) {
              System.err.println("Delete aborted at user request.\n");
              shouldDelete = false;
            }
          }
        }
      }
      return shouldDelete;
    }

安全删除会通过getContentSummary接口获取当前文件夹下的文件数量，如果大于hadoop.shell.safely.delete.limit.num.files会默认失败。

删除相关命令

hdfs dfs -rm -r 删除

hdfs dfs -rm -skipTrash 不使用回收站删除

hdfs dfs -rm -safely 安全删除

喜欢就点赞、投币一下~