并行执行 和 小文件合并

并行执行 :

Hive 会将一个查询转化成一个或者多个阶段。这样的阶段可以是 MapReduce 阶段、抽样阶段、合并阶段、limit 阶段。或者 Hive 执行过程中可能需要的其他阶段。默认情况下， Hive 一次只会执行一个阶段。不过，某个特定的 job 可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并行执行的，这样可能使得整个 job 的执行时间缩短。不过，如果有更多的阶段可以并行执行，那么 job 可能就越快完成。

通过设置参数 hive.exec.parallel 值为 true，就可以开启并发执行。不过，在共享集群中， 需要注意下，如果 job 中并行阶段增多，那么集群利用率就会增加。

set hive.exec.parallel.thread=true //打开任务并行执行
set hive.exec.parallel.thread.number=16; //同一个 sql 允许最大并行度，默认为8。

当然,也得是在系统资源比较空闲的时候才有优势.

---

小文件合并 :
1）在 map 执行前合并小文件，减少 map 数：CombineHiveInputFormat 具有对小文件进行合并的功能（系统默认的格式）。HiveInputFormat 没有对小文件合并功能。

set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

2）在Map-Reduce 的任务结束时合并小文件的设置： 在 map-only 任务结束时合并小文件，默认 true

SET hive.merge.mapfiles = true;

在 map-reduce 任务结束时合并小文件，默认 false

SET hive.merge.mapredfiles= true;

合并文件的大小，默认 256M
当输出文件的平均大小小于该值时，启动一个独立的 map-reduce 任务进行文件merge

SET hive.merge.smallfiles.avgsize = 16777216;