- 博客(1)
- 收藏
- 关注
RSS订阅转载 如何在hadoop中控制map的个数
hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来看几个名词： block_size : hdfs的文件块大小，默认为64M，可以通过参
2017-09-10 17:47:36
373
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人