hadoop 的归档archive的使用

archive 使用场景
hadoop 文件元数据都保存在namenode中，小文件过多会造成nn 内存耗尽，一个文件一般占用nn 的120kb 左右的内存，防止小文件过多，小文件采用归档archive 的方式使好多小文件被nn看成是一个文件

archive 作用
减少nn 压力，让多个小文件被nn 看成是一个文件

archiveｍ命令的使用
hadoop archive -archiveName .har -p [-r ]*
解释：
bin/hadoop archive -archiveName archive归档文件名字.har -p 小文件源目录 归档后文件目的地

ps： 归档文件名字必须以.har 结尾

实际操作
启动hdfs && yarn
源目录如下

执行archive命令

hadoop archive -archiveName   input.har -p /input/ /output/

查看结果目录

这样对外就是一个文件，nn 只会保存一份元数据

查看归档文件

[root@hadoop-101 ~]# hadoop fs -lsr /input.har
[root@hadoop-101 ~]#[root@hadoop-101 ~]# hadoop fs -lsr har:///output/input.har
har:///output/input.har/a.txt
6 har:///output/input.har/b.txt
har:///output/input.har/c.txt

这里har:// 和hdfs:// ，jdbc:// http:// 一样是协议