hive的优化

1.列剪裁
在通过hive读取数据的时候,并不是所有的需求都要获取表内的所有数据
有些只需要读取所有列中的几列,而忽略其他列的数据
列剪裁的设置为hive.optimize.cp 默认设置true
2.分区剪裁
在hive中,可以根据多个维度对hive表进行分区操作,且分区也可以多层嵌套
当有需要对目标表的某一个区域内的数据进行分析而不需要设计其他区域时
可以使用分区裁剪,将目标区域以条件的形式放在hql中
分区裁剪的配置为hive.optimize.pruner，默认为hive。
3.join
hive同样支持join多表连接查询,例如内连接、外链接（左连接、右外连接、全外连接）
、半连接等。对于一条语句中有多个join的情况，
当join的条件相同时，即使有多张表，都会合并成一个mapreduce，并不是多个mapreduce
如果join的条件不相同，mapreduce的任务数目和join操作是对应的
在使用写有join操作的查询语句时，由于join操作的reduce阶段，join执行时会将join操作
符左边的表的内容加载进内存溢出错误的几率
4.mapjoin
mapjoin的合理使用同样能起到调优的效果，在实际的应用中有可能遇到join执行效率很低甚至不能执行的状况。
5.Group By

什么是数据倾斜？
由于数据的不均衡原因，导致数据分布不均匀，造成数据大量的集中到一点，造成数据热点

Hadoop框架的特征
不怕数据量大，怕数据倾斜
mapreduce作业初始化的时间是比较长的
所以要减少job的个数，设置合理的mapreduce的task数，能有效的提成性能
了解数据分布，自己动手解决数据倾斜问题
对小文件进行合并是行之有效的提高调度效率的方法