mapreduce设置map个数_mapreduce设置map内存
摘要
在map阶段读取数据前,FileInputFormat会将输入文件分割成split。split的个数决定了map的个数。
影响map个数,即split个数的因素主要有:
1)HDFS块的大小,即HDFS中dfs.block.size的值。如果有一个输入文件为1024m,当块为
256m时,会被划分为4个split;当块为128m时,会被划分为8个split。
2)文件的大小。当块为1...
转载
2019-08-15 15:49:59 ·
2580 阅读 ·
1 评论