使用Pig优化mapreduce小文件处理

 

测试数据：20GB gz数据，文件数4.7万个，大小从上百MB到几MB

测试机器：Slave 2台。8core，32GB内存，5 map slot，3 reduce slot

Job逻辑：输出文件总行数

 

• 使用Pig耗时：12mins
• java代码（FileInputFormat）：>60 min （开启jvm重用，使用默认FileInputFormat）
• java代码（CombineFileInputFormat）：21 min 

结论：Pig对于处理小文件做了优化，性能远远好于Java编写代码。

 

 

关于PigInputFormat

• 默认使用集群配置block size来合并小文件，并作为input split传给map方法
• 时间input split 167个，远远小于Java编写代码（ FileInputFormat ）的4.7个input splits

 

-- end