关闭

map-reduce与hash关系

572人阅读 评论(0) 收藏 举报
分类:

之前写了个内容,提醒对map的输入文件要切分尽量多点,以便提交map参与数量从而提升总体处理效率


为什么多切分就会多map呢,其实还是因为提供给map的输入文件会进行hash,map启动的数量就是这个hash的数量所以增加切分粒度可以提升效率





0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:433938次
    • 积分:4494
    • 等级:
    • 排名:第6836名
    • 原创:64篇
    • 转载:0篇
    • 译文:0篇
    • 评论:7条
    说明
    分享点滴