hive中groupby优化_关于Hive优化的四种方法总结

一、整体架构优化

现在hive的整体框架如下，计算引擎不仅仅支持Map/Reduce，并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统.

整体架构优化点：

1、根据不同业务需求进行日期分区，并执行类型动态分区。 相关参数设置： 0.14中默认hive.exec.dynamic.partition=ture

2、为了减少磁盘存储空间以及I/O次数，对数据进行压缩

相关参数设置：

job输出文件按照BLOCK以Gzip方式进行压缩。

mapreduce.output.fileoutputformat.compress=true
mapreduce.output.fileoutputformat.compress.type=BLOCK
mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.GzipCodec

map输出结果也以Gzip进行压缩。

 mapreduce.map.output.compress=true
mapreduce.map.output.compress.codec=org.apache.hadoop.io.compr