Hive中map与reduce数量控制

1. 控制hive任务中的map数和reduce数

map数量

1.多少map数量合适:

遵循两个原则： 使大数据量利用合适的map数；使单个map任务处理合适的数据量；

2.主要决定因素:

hdfs block-- input的文件总个数，input的文件大小，集群设置的文件块大小(默认128M)

InputFormat在默认情况下会根据hadoop集群的DFS块大小进行分 片，每一个分片会由一个map任务来进行处理，当然用户还是可以通过参数mapred.min.split.size参数在作业提交客户端进行自定义设 置

什么需要减少map数？

当有很多小文件的时候, 每个小文件也会被当做一个块，用一个map任务来完。

一个map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。

怎样减少map数？

这个时候就需要合并小文件：（注：这个参数也可以用来增加map的数量）

set mapred.max.split.size=100000000;
set mapred.min.split.size.per.node=100000000;
set mapred.min.split.size.per.rack=100000000;
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

前面三个参数确定合并文件块的大小