Hive优化（一）之合理设置Map及Reduce数

一、合理设置Map数

map任务数主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小。

1. 复杂文件增加Map数：
   当input的文件比较大，任务逻辑复杂，map执行非常慢的时候，可以考虑增加Map数，来使得每个map处理的数据量减少，从而提高任务的执行效率。

2. 小文件进行合并：
   如果一个任务有很多小文件（远远小于块大小128m），则每个小文件都会被当做一个块，用一个map任务来完成，而一个map任务启动和初始化的时间远远大于逻辑处理的时间，会造成很大的资源浪费。并且，同时可执行的map数是受限的。

   #每个Map最大输入大小，决定合并后的文件数
   set mapred.max.split.size=256000000;
   
   #一个节点上split的至少的大小 ，决定了多个data node上的文件是否需要合并
   set mapred.min.split.size.per.node=100000000;
   
   #一个交换机下split的至少的大小，决定了多个交换机上的文件是否需要合并
   set mapred.min.split.size.per.rack=100000000;
   
   #执行Map前进行小文件合并
   set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
   
   #在map-only任务结束时合并小文件，默认true
   SET hive.merge.mapfiles = true;
   
   #在map-reduce任务结束时合并小文件，默认false
   SET hive.merge.mapredfiles = true;
   
   #合并文件的大小，默认256M
   SET hive.merge.size.per.task = 268435456;
   
   #平均文件大小，是决定是否执行合并操作的阈值，默认16000000。当输出文件的平均大小小于				该值时，启动一个独立的map-reduce任务进行文件merge
   SET hive.merge.smallfiles.avgsize = 16000000;
   

二、合理设置Reduce数

Reduce的个数对整个作业的运行性能有很大影响。在设置reduce个数的时候需要考虑两个原则：
处理大数据量利用合适的reduce数；使单个reduce任务处理数据量大小要合适。

（1）如果Reduce设置的过大，将会产生很多小文件，对NameNode会产生一定的影响，而且整个作业的运行时间未必会减少；
（2）如果Reduce设置的过小，单个Reduce处理的数据将会加大，很可能会引起OOM（out of memory）异常。

1．调整reduce个数方法一

#每个Reduce处理的数据量默认是256MB
hive.exec.reducers.bytes.per.reducer=256000000

#每个任务最大的reduce数，默认为1009
hive.exec.reducers.max=1009

(#计算reducer数的公式
N=min(参数2，总输入数据量/参数1))

2．调整reduce个数方法二

#设置每个job的Reduce个数
set mapreduce.job.reduces = 15;/set mapred.reduce.tasks = 15;

注意：
reduce数不是越多越好
1）过多的启动和初始化reduce会消耗时间和资源；
2）有多少个reduce，就会有多少个输出文件，如果生成了很多个小文件，那么如果这些小文件作为下一个任务的输入，则也会出现小文件过多的问题；

小文件问题的影响
1.从Hive的角度看，小文件会产生很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。

2.在HDFS中，每个小文件对象约占150byte，如果小文件过多会占用大量内存。这样NameNode内存容量严重制约了集群的扩展。