hadoop_高级功能

1. 回收站

默认：禁用

删除数据，hadoop dfs -rmr /output

日志：

17/10/25 10:27:53 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes. Deleted /output

回收站的本质：把要删除的数据移动到一个隐藏目录

修改core-site.xml配置

<property>

  <name>fs.trash.interval</name>

  <value>1440</value>

</property>

value是分钟，默认是0，1440分钟即一天，删除文件时会将文件放到回收站一天，这一天内可以通过复制或移动将文件恢复。

开通回收站后再删除，日志如下：

hadoop dfs -rmr /output

17/10/25 10:44:35 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 1440 minutes, Emptier interval = 0 minutes.

Moved: 'hdfs://192.168.157.111:9000/output' to trash at: hdfs://192.168.157.111:9000/user/root/.Trash/Current

 

不建议开通回收站功能

 

2. 快照snapshot

快照针对的是目录，本质是将文件复制一份到隐藏目录下。

第一步：使用管理员开启某个目录快照功能

[-allowSnapshot <snapshotDir>]

[-disallowSnapshot <snapshotDir>]