HDFS中的快照管理和回收站详细教程

一、快照管理

快照相当于对目录做一个备份。并不会立即复制所有文件，而是指向同一个文件。当写入发生时，才会产生新文件。
1、基本语法
（1）hdfs dfsadmin -allowSnapshot 路径 （功能描述：开启指定目录的快照功能）
（2）hdfs dfsadmin -disallowSnapshot 路径 （功能描述：禁用指定目录的快照功能，默认是禁用）
（3）hdfs dfs -createSnapshot 路径 （功能描述：对目录创建快照）
（4）hdfs dfs -createSnapshot 路径 名称 （功能描述：指定名称创建快照）
（5）hdfs dfs -renameSnapshot 路径 旧名称 新名称 （功能描述：重命名快照）
（6）hdfs lsSnapshottableDir （功能描述：列出当前用户所有可快照目录）
（7）hdfs snapshotDiff 路径1 路径2 （功能描述：比较两个快照目录的不同之处）
（8）hdfs dfs -deleteSnapshot path snapshotName （功能描述：删除快照）
2、案例实操
（1）开启/禁用指定目录的快照功能
hdfs dfsadmin -allowSnapshot /user/atguigu/data
hdfs dfsadmin -disallowSnapshot /user/atguigu/data
（2）对目录创建快照
hdfs dfs -createSnapshot /user/atguigu/data // 对目录创建快照
通过web访问hdfs://hadoop102:9000/user/atguigu/data/.snapshot/s……// 快照和源文件使用相同数据块
hdfs dfs -lsr /user/atguigu/data/.snapshot/
（3）指定名称创建快照
hdfs dfs -createSnapshot /user/atguigu/data miao170508
（4）重命名快照
hdfs dfs -renameSnapshot /user/atguigu/data/ miao170508 atguigu170508
（5）列出当前用户所有可快照目录
hdfs lsSnapshottableDir
（6）比较两个快照目录的不同之处
hdfs snapshotDiff /user/atguigu/data/ . .snapshot/atguigu170508
（7）恢复快照
hdfs dfs -cp /user/atguigu/input/.snapshot/s20170708-134303.027 /user

二、回收站

1、默认回收站
默认值fs.trash.interval=0，0表示禁用回收站，可以设置删除文件的存活时间。
默认值fs.trash.checkpoint.interval=0，检查回收站的间隔时间。
要求fs.trash.checkpoint.interval<=fs.trash.interval。
2、启用回收站
修改core-site.xml，配置垃圾回收时间为1分钟。

<property>
    <name>fs.trash.interval</name>
    <value>1</value>
</property>

3、查看回收站
回收站在集群中的；路径：/user/atguigu/.Trash/….
4、修改访问垃圾回收站用户名称
在core-site.xml中配置进入垃圾回收站用户名称，默认是dr.who，修改为root用户

<property>
  <name>hadoop.http.staticuser.user</name>
  <value>root</value>
</property>

5、通过程序删除的文件不会经过回收站，需要调用moveToTrash()才进入回收站
Trash trash = New Trash(conf);
trash.moveToTrash(path);
6、恢复回收站数据
hadoop fs -mv /user/atguigu/.Trash/Current/user/atguigu/input /user/atguigu/input
7、清空回收站
hdfs dfs -expunge