map-reduce与hash关系

原创 2013年12月02日 19:52:09

之前写了个内容,提醒对map的输入文件要切分尽量多点,以便提交map参与数量从而提升总体处理效率


为什么多切分就会多map呢,其实还是因为提供给map的输入文件会进行hash,map启动的数量就是这个hash的数量所以增加切分粒度可以提升效率





内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:map-reduce与hash关系
举报原因:
原因补充:

(最多只允许输入30个字)