Hive性能优化总结

1.架构优化

影响Hive效率的因素：数据倾斜，数据冗余，Job或I/O过多，MapReduce分配不合理

执行引擎

Hive支持的执行引擎：MapReduce，Tez，Spark，Flink。其中可以通过hive-site.xml文件中的hive.execution.engine属性控制。

优化器

分为：向量优化器，成本优化器(CBO)
向量化优化器：(要求引擎为Tez，文件格式为ORC)一次批量执行1024行而非一行来提高扫描，聚合，过滤器和连接等操作的性能。

hive-site.xml文件所需配置
set hive.vectorized.execution.enabled = true; -- 默认 false 
set hive.vectorized.execution.reduce.enabled = true; -- 默认 false

成本优化器：(基于apatch Calcite)，通过查询成本(收集表的信息，例如表的大小，有多少条数据，数据如何分布)而生成有效率的执行计划，最终减少执行的时间和资源的利用。
除了一下设置要配置之外还需要定期执行表（analyze）的分析，分析后的数据放在元数据库中。

hive-site.xml文件所需配置
SET hive.cbo.enable=true; --从 v0.14.0默认 true 
SET hive.compute.query.using.stats=true; -- 默认false 
SET hive.stats.fetch.column.stats=true; -- 默认false 
SET hive.stats.fetch.partition.stats=true; -- 默认true

分区表

对于比较大的表，设计成分区表能提高查询的性能。因为对于特定分区的查询，只会加载对应分区路径的文件数据，所以执行速度会比较快。在分区之前对于表中的数据量要有一定的了解，否则最后分区出来的表也可能有问题。
而分区字段的选择是影响查询性能的重要因素，一些插件的分区字段可以如下：

• 日期或时间。如year、month、day或者hour，当表中存在时间或者日期字段时
• 地理位置。如国家、省份、城市等
• 业务逻辑。如部门、销售区域、客户等等

分桶表

将HDFS上的文件分割成多个文件
好处：①可加快数据采样②提高Job的性能(前提：join的字段是分桶字段)因为分桶可以确保某个key对应的数据在一个特定的桶内(文件)，巧妙的选择分桶字段可以大幅度提高join的性能
*通常情况下，分桶字段可以选择经常用在过滤操作或者join操作的字段

文件格式

在创建表时，可以使用stored as… 指定表的存储格式
Hive表支持的存储格式有：有TextFile、SequenceFile、RCFile、ORC、Parquet等。
生产环境中绝大多数表都采用TextFile，ORC、Parquet存储格式之一。
TextFile：Hive默认格式，时最简单的存储格式，其硬盘开销大，查询效率低，更多作为跳板使用
RCFile、ORC、Parquet：都不能由文件直接导入数据，必须由TextFile来做中转
*其中Parquet支持Impala查询引擎，并且对update,delete和事务操作需求很低

数据压缩

压缩技术可以减少map与reduce之间的数据传输，从而可以提升查询性能
可选择的压缩格式：

hive-site.xml文件所需配置
-- 中间结果压缩 
SET hive.intermediate.compression.codec=org.apache.hadoop.io.compre ss.SnappyCodec ; 
-- 输出结果压缩 SET hive.exec.compress.output=true; 
SET mapreduce.output.fileoutputformat.compress.codec =org.apache.hadoop.io.compress.SnappyCod