Hadoop之小文件

一.概述

1. 每个小文件无论多小都会对应一个block,而每一个小文件在NameNode中都要有元数据的记录,如果存在大量小文件,则NameNode中的大量空间都用来存放这些小文件的元数据信息,其实是相当浪费的,对于NameNode的性能有比较大的影响
2. 当使用MapReduce处理大量小文件时,默认情况下MapReduce在进行切片操作时规则是和block切的规则一样,即一个block对应一个inputSplit,而一个InputSplit就对应一个Mapper,这样会造成开启大量的MapperTask,但是每个MapperTask处理的数据量都很有限.极端情况下,开启大量Mapper耗费内存,甚至可能造成程序的崩溃.

二.解决方案

Hadoop Archive

1. Archive简称为HAR,是一个高效的将小文件放入HDFS块中的文件存档工具,它能够将多个小文件打包成一个HAR文件,这样在减少NameNode内存使用的同时,仍然允许对文件进行透明的访问

2. HAR是在Hadoop File System之上的一个文件系统,因此所有fs shell命令对HAR文件均可用,只不过是文件路径格式不一样,HAR的访问路径可以是两种格式:

   har://scheme-hostname:port/archivepath/fileinarchive

   har:///archivepath/fileinarchive(本节点)

注意事项

1. 对小文件进行存档后,原文件并不会自动被删除,需要用户自己删除
2. 创建HAR文件的过程实际上是在运行一个MapReduce作业,因而需要有一个Hadoop集群运行此命令

缺点

1. 一旦创建,Archives便不可改变.要增加或移除里面的文件,必须重新创建归档文件
2. 要归档的文件名中不能有空格,否则会抛出异常,可以将空格用其他符合替换(使用-Dhar.space.replac