may_fly的博客

原创 hive中map/reduce数量的问题

hive的map和reduce数量如何确定map的数量确定map的数量：主要决定因素有input文件的总个数，input中文件的大小，集群设置的文件块大小(默认128M，可在hive shell中通过set dfs.block.size查看)三种举例：文件不足128M则当做一个块，大于128M则拆分input目录下有七个文件，大小均为64M，则共7个mapinput目录下有10M，1...