archive 使用场景
hadoop 文件元数据都保存在namenode中,小文件过多会造成nn 内存耗尽,一个文件一般占用nn 的120kb 左右的内存,防止小文件过多,小文件采用归档archive 的方式使好多小文件被nn看成是一个文件
archive 作用
减少nn 压力,让多个小文件被nn 看成是一个文件
archivem命令的使用
hadoop archive -archiveName .har -p [-r ]*
解释:
bin/hadoop archive -archiveName archive归档文件名字.har -p 小文件源目录 归档后文件目的地
ps: 归档文件名字必须以.har 结尾
实际操作
启动hdfs && yarn
源目录如下
执行archive命令
hadoop archive -archiveName input.har -p /input/ /output/
查看结果目录
这样对外就是一个文件,nn 只会保存一份元数据
查看归档文件
[root@hadoop-101 ~]# hadoop fs -lsr /input.har
[root@hadoop-101 ~]#[root@hadoop-101 ~]# hadoop fs -lsr har:///output/input.har
har:///output/input.har/a.txt
6 har:///output/input.har/b.txt
har:///output/input.har/c.txt
这里har:// 和hdfs:// ,jdbc:// http:// 一样是协议