【大数据学习】之hdfs垃圾回收站配置

我们知道linux是没有垃圾回收站的，而hdfs同样默认是没有的，但是hdfs是可以开启垃圾回收站的。

1、我们可以登录官网，选2.8.5版本， https://hadoop.apache.org/docs/r2.8.5/  拉到页面最下面点击core-default.xml

2、然后在页面按ctrl + F 全局搜索"trash"，找到fs.trash.interval和fs.trash.checkpoint.interval

可以看看在其右边的注释，英文不好的可以用google的网页翻译一下哈

fs.trash.interval 
0禁用。
该值一般设1440分钟，即1天，保留垃圾回收站的文件或文件夹1天 超过就自动删除

fs.trash.checkpoint.interval
0, the value is set to the value of fs.trash.interval
即，如果为0，就跟fs.trash.interval设的值一样。默认设为0。
比如上面的fs.trash.interval值设为1440时，那fs.trash.checkpoint.interval的值就等于1440。

3、开始在core-site.xml设置、添加参数。见下图

4、重启一下hdfs

(1) 先停止  [hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ sbin/stop-dfs.sh

(2) 再启动 [hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ sbin/start-dfs.sh

5、尝试删除hdfs的文件

[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -rm -f /user/hadoop/input

注意看抛出的一句话：18/10/16 00:10:52 INFO fs.TrashPolicyDefault: Moved: 'hdfs://hadoop001:9000/user/hadoop/input' to trash at: hdfs://hadoop001:9000/user/hadoop/.Trash/Current/user/hadoop/input

意思是将input里面的文件移动到另一个路径hdfs://hadoop001:9000/user/hadoop/.Trash/Current/user/hadoop/input，等于mv了。

可以验证一下回收站那里看看是否有数据，即用cat命令查看一下是否有被删的数据

[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -cat hdfs://hadoop001:9000/user/hadoop/.Trash/Current/user/hadoop/input 

数据还是有的。所以其实等于是mv到另一个路径了

最后，请注意：在生产上的hdfs垃圾回收必须开启，一般设7天或14天。