hadoop小文件的问题带来的问题和解决方案

  hadoop最初主要是针对流式文件的,每个文件在NameNode中都会保存一份文件元数据，并且运行过程中，元数据都是加载到内存中的，有namenode内存的限制;其次mapreduce的时候，每个小文件占用一个slot，调度方面的开销比较大。

hadoop自带了三种方案：hadoop archive，SequenceFile，CombineFileInputFormat

a、 hadoop archive:对某个目录下所有的小文件存档成har文件

       hadoop archive -archiveName xxx.har -p /foo/bar/outputdir

    hadoop archive -archiveName name -p <parent> <src>* <dest>

        访问，har://host:port/archivepath/fileinarchive或者har://archivepath/fileinarchive

        列出har中的文件列表：hadoop dfs -ls har://usr/zoo/foo.har

  b、Sequence File

         把小文件中名称作为key，小文件的内容作为value

          上传文件时，判断是都属于小文件，如果是交给小文件处理模式进行处理，开启一定时任务，当模块中文件总size大于block文件大小时，则通过sequenceFile组建以文件名作为key,对应文件内容为value将这些小文件一次性写入hdfs模块，同时删除已处理的文件。

  c、CombineFileInputFormat

         在mapreduce时，将多个小文件合并作为一个split

 

当然在实际的过程中，尽量不要产生大量的小文件，可以在存储到HDFS之前，在应用端对小文件定期的进行合并