排序:
默认
按更新时间
按访问量

Hadoop中CombineFileInputFormat详解

在MR实践中,会有很多小文件,单个文件产生一个mapper,资源比较浪费,后续没有reduce逻辑的话,会产生很多小文件,文件数量暴涨,对后续的hive job产生影响。 所以需要在mapper中将多个文件合成一个split作为输入,CombineFileInputFormat满足我们的需求...

2014-07-03 17:30:45

阅读数:417

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭