转：HDFS研究----.Trash文件

删除文件示例
与Linux下的rm命令不同，我们在删除HDFS文件时，都会有将该文件移动到回收站的提示，如下，

hdfs@lyhadoop5:~$ hadoop fs -rm /user/hdfs/generic

16/10/18 16:49:50 INFO fs.TrashPolicyDefault: Moved: 'hdfs://lyhadoop5:8020/user/hdfs/test.txt' to trash at: hdfs://lyhadoop5:8020/user/hdfs/.Trash/Current/user/hdfs/test.txt

默认的回收策略
通过对每个DN设置参数fs.trash.interval的值，来指明删除区间。如下，设置回收时间间隔为1440min，即1天。

<property>
  <name>fs.trash.interval</name>
  <value>1440</value>
  <description>Number of minutes between trash checkpoints. If zero, the trash feature is disabled</description>
</property>

默认回收策略：每隔interval，HDFS就会进行一次清空回收站操作：检查用户回收站目录（/user/your-user-name/.Trash），将超过interval的文件删除，将interval区间内删除的文件(/user/your-user-name/.Trash/current)保留，但重命名为/user/your-user-name/.Trash/yyMMddHHmm。

根据上述回收策略，总结如下：

每个回收站文件的生存周期：interval-2*interval
过了2*interval的时间后，HDFS文件不会再被恢复过来
有关回收站的注意点
用户手动清空回收站时，不会再触发回收站操作。
当用户写程序调用HDFS的API时，NameNode并不会把删除的文件放入回收站Trash中，而是需要自己实现相关的回收站逻辑，见参考博文2。
有关删除文件的一些命令
删除文件：hadoop fs -rm /user/asin/test
恢复删除文件：hadoop fs -mv /user/asin/.Trash/Current/user/asin/test /user/asin/
清空回收站：hadoop fs -rmr /user/asin/.Trash or hadoop fs -expunge

 

输入命令：hdfs  dfs -du /user/*

可以找到你的用户相关的回收站文件  /user/fughting/.Trash/Current 文件

输入命令：hdfs  dfs  -rm  -r   /user/fughting/.Trash/Current 就可以清空fighting这个用户的回收站了

 

 

*********************************************************************************************************************

Hadoop回收站trash，默认是关闭的。 
习惯了window的同学，建议最好还是把它提前开开，否则误操作的时候，就欲哭无泪了 

1.修改conf/core-site.xml,增加 

Xml代码 

 

1. <property>  
2.   <name>fs.trash.interval</name>  
3.   <value>1440</value>  
4.   <description>Number of minutes between trash checkpoints.  
5.   If zero, the trash feature is disabled.  
6.   </description>  
7. </property>  

默认是0.单位分钟。这里我设置的是1天（60*24） 
删除数据rm后，会将数据move到当前文件夹下的.Trash目录 

2.测试 
1）新建目录input 

Java代码 

 

1. hadoop/bin/hadoop fs -mkdir input    

2）上传文件 

Java代码 

 

1. root@master:/data/soft# hadoop/bin/hadoop fs -copyFromLocal /data/soft/file0* input  

3）删除目录input 

Java代码 

 

1. [root@master data]# hadoop fs -rmr input  
2. Moved to trash: hdfs://master:9000/user/root/input  

4）参看当前目录 

Java代码 

 

1. [root@master data]# hadoop fs -ls  
2. Found 2 items  
3. drwxr-xr-x   - root supergroup          0 2011-02-12 22:17 /user/root/.Trash  

发现input删除，多了一个目录.Trash 

5）恢复刚刚删除的目录 

Java代码 

 

1. [root@master data]# hadoop fs -mv /user/root/.Trash/Current/user/root/input  /user/root/input  

6）检查恢复的数据 

Java代码 

 

1. [root@master data]# hadoop fs -ls input  
2. Found 2 items  
3. -rw-r--r--   3 root supergroup         22 2011-02-12 17:40 /user/root/input/file01  
4. -rw-r--r--   3 root supergroup         28 2011-02-12 17:40 /user/root/input/file02  

6）删除.Trash目录（清理垃圾） 

Java代码 

 

1. [root@master data]# hadoop fs -rmr .Trash  
2. Deleted hdfs://master:9000/user/root/.Trash