史上最全MapReduce小文件优化策略

最新推荐文章于 2024-06-21 20:30:55 发布

Hellooorld

最新推荐文章于 2024-06-21 20:30:55 发布

阅读量992

点赞数

文章标签： hadoop mapreduce MR

本文链接：https://blog.csdn.net/qq_32736999/article/details/82890294

版权

小文件的优化无非以下几种方式：

在数据采集的时候，就将小文件或小批数据合成大文件再上传 HDFS
在业务处理之前，在 HDFS 上使用 mapreduce 程序对小文件进行合并
在 mapreduce 处理时，可采用 CombineTextInputFormat 提高效率
Hadoop Archive:是一个高效地将小文件放入 HDFS 块中的文件存档工具，它能够将多个小文件打包成一个 HAR 文件，这样就减少了 namenode 的内存使用 (存档不懂得可以百度hadoop存档的使用--链接https://blog.csdn.net/qq_32736999/article/details/82890413)
Sequence file：sequence file 由一系列的二进制 key/value 组成，如果 key 为文件名，value 为文件内容，则可以将大批小文件合并成一个大文件
CombineFileInputFormat：CombineFileInputFormat 是一种新的 inputformat，用于将多个文件合并成一个单独的split，另外，它会考虑数据的存储位置。
开启JVM 重用对于大量小文件Job，可以开启JVM 重用会减少 45%运行时间。JVM 重用理解：一个 map 运行一个 jvm，重用的话，在一个 map 在 jvm 上运行完毕后，jvm 继续运行其他 map。具体设置：mapreduce.job.jvm.numtasks 值在 10-20 之间

关注