1 概述
HDFS
存储小文件弊端
每个文件均按块存储,每个块的元数据存储在NameNode
的内存中,因此HDFS
存储小文件会非常低效。因为大量的小文件会耗尽NameNode
中的大部分内存
注意,存储小文件所需要的磁盘容量和数据块的大小无关。例如,一个
1MB
的文件设置为128MB
的块存储,实际使用的是1MB
的磁盘空间,而不是128MB
- 解决存储小文件办法之一
HDFS
存档文件或HAR
文件,是一个更高效的文件存档工具,它将文件存入HDFS
块,在减少NameNode
内存使用的同时,允许对文件进行透明的访问。具体说来,HDFS
存档文件对内还是一个一个独立文件,对NameNode
而言却是一个整体,减少了NameNode
的内存
2 创建归档文件
在启动yarn
的前提下进行一下实例操作
把/input
目录里面的所有文件归档成一个叫input.har
的归档文件,并把归档后文件存储到/output
路径下,在NameNode
所在服务器执行以下命令
hadoop archive -archiveName 指定归档文件的文件名 -p 需要归档的目录 归档文件的输出目录
hadoop archive -archiveName input.har -p /input /output
-p
表示递归归档
输出的目录可以不存在,如果不存在会自动创建
3 查看归档文件
使用har协议
方式,注意是///
。具体看个人打包结果替换一下文件
hadoop fs -ls har:///output/input.har
4 解归档文件
解析后可以得到被归档的文件,注意/input.har/*
下的*
。具体看个人打包结果替换一下文件
hadoop fs -cp har:///output/input.har/* /wcinput