19 mapreduce小文件

小文件的危害

1、存储：每一个小文件在HDFS上都会产生一条元数据。如果存储大量的小文件，那么就会产生大量的元数据。如果元数据过多，会大量占用NameNode的内存，并且还会导致元数据的查询效率变低
2、计算：每一个小文件在MapReduce中对应一个切片。如果计算大量的小文件，那么就会产生大量的切片，每一个切片会对应一个MapTask(MapTask本质上线程)，大量的切片就会产生大量的线程。如果线程数量过多，这个时候就会导致服务器的效率变低甚至会崩溃

解决方案

目前为止，市面上针对小文件的常见处理手段：合并和打包
将多个小文件合并成为一个文件

市面上提供的合并打包方法不少，hdoop就提供了一种合并打包方案：Hadoop Archive。

通过Hadoop Archive 将一个或者多个小文件达成一个har包。这条命令实际上是运行的一个mr任务完成打包，看起来是打包，本质上是把多个小文件合并在了一起。并提供了一个索引文件
例如：hadoop archive -archiveName txt.har -p /txt /

输出结果：

part-0里面就是小文件文本内容的汇总，_index文件是提供的一个索引文件。

打包成小文件之后怎么使用呢？