Hive优化

1. 数据存储及压缩
   针对hive中表的存储格式通常有orc和parquet，压缩格式一般使用snappy。相比与textfile格式表，orc占有更少的存储。因为hive底层使用MR计算架构，数据流是hdfs到磁盘再到hdfs，而且会有很多次，所以使用orc数据格式和snappy压缩策略可以降低IO读写，还能降低网络传输量，这样在一定程度上可以节省存储，还能提升hql任务执行效率；

2. 参数优化
   开启map端部分预聚合；
   并行执行，调节parallel参数；
   调节jvm参数，重用jvm;
   设置map、reduce参数；
   开启strict mode模式；
   关闭推测执行设置；

3. 有效地减小数据集将大表拆分成子表；结合使用外部表和分区表

4. SQL优化
   大表对大表：尽量减少数据集，可以通过分区表，避免扫描全表或者全字段。
   大表对小表：设置自动识别小表，将小表放入内存中去执行。