HIVE如何优化

a）MapJoin 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join， 即：在Reduce阶段完成Join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进 行Join，避免Reducer处理。

b）行列过滤

列处理：在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT *。

行处理：在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关 联，之后再过滤。

c）采用分桶技术

d）采用分区技术

e）合理设置Map数

1）通常情况下，作业会通过Input的目录产生一个或者多个Map任务。主要的决定因素有：

        Input的文件总个数，Input的文件大小，集群设置的文件块大小。

2）是不是map数越多越好？

        答案是否定的。如果一个任务有很多小文件（远远小于块大小128m），则每个小文件也会被当做一 个块，用一个Map任务来完成，而一个Map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大 的资源浪费。而且，同时可执行的Map数是受限的。

3）是不是保证每个Map处理接近128m的文件块，就高枕无忧了？

        答案也是不一定。比如有一个127m的文件，正常会用一个Map去完成，但这个文件只有一个或者 两个小字段，却有几千万的记录，如果Ma