HDFS 其他功能

1 集群间数据拷贝

1 scp 实现两个远程主机之间的文件复制

scp -r hello.txt root@hadoop103:/user/joker/hello.txt // 推 push
scp -r root@hadoop103:/user/joker/hello.txt hello.txt // 拉 pull
scp -r root@hadoop103:/user/joker/hello.txt root@hadoop104:/user/joker //是通过本地主机中转实现两个远程主机的文件复制；如果在两个远程主机之间 ssh 没有配置的情况下可以使用该方式。

2 采用 discp 命令实现两个 hadoop 集群之间的递归数据复制

[joker@hadoop102 hadoop-2.7.2]$ hadoop fs distcp hdfs://haoop102:9000/user/joker/hello.txt hdfs://hadoop103:9000/user/joker/hello.txt

2 Hadoop 存档

1 理论概述
每个文件均按块存储，每个块的元数据存储在 namenode 的内存中，因此 hadoop 存储小文件会非常低效。因为大量的小文件会耗尽 namenode 中的大部分内存。但注意，存储小文件所需要的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比也不会增多。例如，一个 1MB 的文件以大小为 128MB 的块存储，使用的是 1MB 的磁盘空间，而不是 128MB。
Hadoop 存档文件或 HAR 文件，是一个更高效的文件存档工具，它将文件存入 HDFS块，在减少 namenode 内存使用的同时，允许对文件进行透明的访问。具体说来， Hadoop存档文件可以用作 MapReduce 的输入。
2 案例实操
1） 需要启动 yarn 进程
2） 归档文件
归档成一个叫做 xxx.har 的文件夹，该文件夹下有相应的数据文件。 Xx.har 目录是
一个整体，该目录看成是一个归档文件即可。

[joker@hadoop102 hadoop-2.7.2]$ hadoop archive -archiveName myhar.har -p /user/joker/test / 

3）查看归档

[joker@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr har:///myhar.har

4）解归档文件

[joker@hadoop102 hadoop-2.7.2]$ hadoop fs -cp har:///myhar.har/hello.txt /

3 快照管理

快照相当于对目录做一个备份。 并不会立即复制所有文件，而是指向同一个文件。当写入发生时，才会产生新文件。
1 基本语法

（1） hdfs dfsadmin -allowSnapshot 路径 （功能描述： 开启指定目录的快照功能）
（2） hdfs dfsadmin -disallowSnapshot 路径 （功能描述： 禁用指定目录的快照功能，默
认是禁用）
（3） hdfs dfs -createSnapshot 路径 （功能描述： 对目录创建快照）
（4） hdfs dfs -createSnapshot 路径 名称 （功能描述： 指定名称创建快照）
（5） hdfs dfs -renameSnapshot 路径 旧名称 新名称 （功能描述： 重命名快照）
（6） hdfs lsSnapshottableDir （功能描述： 列出当前用户所有可快照目录）
（7） hdfs snapshotDiff 路径 1 路径 2 （功能描述： 比较两个快照目录的不同之处）
（8） hdfs dfs -deleteSnapshot <path> <snapshotName> （功能描述：删除快照）

2 案例实操
1）开启/禁用指定目录的快照功能

[joker@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -allowSnapshot /user/joker/test
[joker@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -disallowSnapshot /user/joker/test

2）对目录创建快照

[joker@hadoop102 hadoop-2.7.2]$ hdfs dfs -createSnapshot /user/joker/test
#通过 web 访问 hdfs://hadoop102:9000/user/atguigu/data/.snapshot/s…..// 快照和源文件使用相同数据块
[joker@hadoop102 hadoop-2.7.2]$ hdfs dfs -lsr /user/joker/test/.snapshot/

3）指定名称创建快照

[joker@hadoop102 hadoop-2.7.2]$ hdfs dfs -createSnapshot /user/joker/test cat

4）重命名快照

[joker@hadoop102 hadoop-2.7.2]$ hdfs dfs -renameSnapshot /user/joker/test/ cat dog
[joker@hadoop102 hadoop-2.7.2]$ hdfs dfs -renameSnapshot /user/joker/test/ s20180517-064532.997 miao 

5）列出当前用户所有可快照目录

[joker@hadoop102 hadoop-2.7.2]$ hdfs lsSnapshottableDir
drwxr-xr-x 0 root supergroup 0 2018-05-13 21:53 0 65536 /user/joker/test

6）比较两个快照目录的不同之处

[joker@hadoop102 hadoop-2.7.2]$ hdfs snapshotDiff /user/joker/test/ . .snapshot/miao

7）恢复快照

[joker@hadoop102 hadoop-2.7.2]$ hdfs dfs -cp /user/atguigu/input/.snapshot/miao /user

8）删除快照

[joker@hadoop102 hadoop-2.7.2]$ hdfs dfs -deleteSnapshot /user/joker/test/ miao

4 回收站

1 默认回收站
默认值 fs.trash.interval=0， 0 表示禁用回收站，可以设置删除文件的存活时间。
默认值 fs.trash.checkpoint.interval=0，检查回收站的间隔时间。
要求 fs.trash.checkpoint.interval<=fs.trash.interval。

2 启用回收站
修改 core-site.xml， 配置垃圾回收时间为 1 分钟。

<property>
    <name>fs.trash.interval</name>
    <value>1</value>
</property>

3 查看回收站
回收站在集群中的；路径： /user/joker/.Trash/….

4 修改访问垃圾回收站用户名称
进入垃圾回收站用户名称，默认是 dr.who， 修改为 atguigu 用户
[core-site.xml]

<property>
    <name>hadoop.http.staticuser.user</name>
    <value>joker</value>
</property>

5 通过程序删除的文件不会经过回收站，需要调用 moveToTrash()才进入回收站
Trash trash = New Trash(conf);
trash.moveToTrash(path);

6 恢复回收站数据

[joker@hadoop102 hadoop-2.7.2]$ hadoop fs -put wcinput/wc.input /user/joker/input
[joker@hadoop102 hadoop-2.7.2]$ hadoop fs -rm -f /user/joker/input/wc.input  
[joker@hadoop102 hadoop-2.7.2]$ hadoop fs -mv /user/joker/.Trash/Current/user/joker/input/* /

7 清空回收站

[joker@hadoop102 hadoop-2.7.2]$ hdfs dfs -expunge