Hive优化

HIVE优化(设置合理的map reduce的task数)

1 map阶段优化

1.1 map参数

1.2 map切分情况

1.3 主要的解决方式

2.reduce阶段优化

2.1 Reduce的个数

2.2 Hive自己如何确定reduce数

2.3 调整reduce个数方法一

2.4 调整reduce个数方法二

2.5 reduce个数并不是越多越好

2.6 什么情况下只有一个reduce

3.小文件合并优化

Hive优化之小文件问题及其解决方案：

小文件是如何产生的

小文件问题的影响

小文件问题的解决方案

map/reduce端的相关参数

1 map阶段优化
1.1 map参数
mapred.min.split.size：数据的最小分割单元；min值默认是1KB。
mapred.max.split.size：数据的最大分割单元；max值默认是256M。
通过调整max可以起到调整map数的作用，减小max可以增加map数；增加min可以减少map数。
注意：直接调整 mapred.map.task 这个参数是没有效果的。
1.2 map切分情况

• 假设input目录下有1个文件a，大小是780M，那么map默认参数会把a分成7块（6个128M和1个 12M），从而产生7个map。

• 假设input目录下有3个文件a,b,c，大小分别为10M，20M，130M，那么hadoop会把文件分成4块（10M，20M，128M，2M），从而产生4个map数。

  注意：如果文件大于块大小（128M），那么会拆分，如果小于块大小，则把该文件当成一个块。
  这就涉及到小文件的问题：如果一个任务有很多小文件（远远小于块大小128M），则每个小文件也会当做一个块，用一个map任务来完成。
  而一个map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。而且，同时可执行的map数是受限的。那么，是不是保证每个map处理接近128M的文件块，就高枕无忧了？答案也是不一定。比如有一个127M的文件，正常会用一个map去完成，但这个文件只有一个或者两个小字段，却有几千万的记录，如果map处理的逻辑比较复杂，用一个map任务去做，肯定也比较耗时。

1.3 主要的解决方式

• 减少map的数量

假设一个SQL任务：
Select count(1) from popt_tbaccountcopy_meswhere pt = '2012-07-04';
该任务的inputdir :  /group/p_sdo_data/p_sdo_data_etl/pt/popt_tbaccountcopy_mes/pt=2012-07-04
共有194个文件，其中很多事远远小于128M的小文件，总大小9G，正常执行会用194个map任务。
Map总共消耗的计算资源：SLOTS_MILLIS_MAPS= 623,020

通过以下方法来在map执行前合并小文件，减少map数：
set mapred.max.split.size=128000000;  			// 能分割块的最大块大小
set mapred.min.split.size.per.node=100000000;	// 每个节点处理的最小split
set mapred.min.split.size.per.rack=100000000;	// 每个机架处理的最小s