一、Hive调优策略
~~~ [Hive优化策略之架构优化]
~~~ [Hive优化策略之本地模式,严格模式JVM重用]
~~~ [Hive优化策略之并行执行/推测执行/合并小文件及fetch模式]
~~~ [Hive优化策略之列分区裁剪/sortBy及groupBy]
~~~ [Hive优化策略之join的三重方式]
~~~ [Hive优化策略之调整Map及Reduce个数]
~~~ [Hive优化策略之优化策略小结]
~~~ [Hive优化实战之数据说明及SQL案例]
~~~ [Hive优化实战之后执行计划分析]
~~~ [Hive优化实战之问题解答]
~~~ [Hive优化实战之SQL优化]
~~~ [Hive优化实战之文件格式]
### --- Hive调优策略
~~~ Hive作为大数据领域常用的数据仓库组件,在设计和开发阶段需要注意效率。
~~~ 影响Hive效率的不仅仅是数据量过大;
~~~ 数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对Hive的效率有影响。
### --- 对Hive的调优既包含对HiveQL语句本身的优化,也包含Hive配置项和MR方面的调整。
~~~ # 从以下三个方面展开:
~~~ 架构优化
~~~ 参数优化
~~~ SQL优化
二、架构优化
### --- 执行引擎
~~~ Hive支持多种执行引擎,分别是 MapReduce、Tez、Spark、Flink。
~~~ 可以通过hivesite.xml文件中的hive.execution.engine属性控制。
~~~ Tez是一个构建于YARN之上的支持复杂的DAG(有向无环图)任务的数据处理框架。
~~~ 由Hontonworks开源,将MapReduce的过程拆分成若干个子过程,
~~~ 同时可以把多个mapreduce任务组合成一个较大的DAG任务,减少了MapReduce之间的文件存储,
~~~ 同时合理组合其子过程从而大幅提升MR作业的性能。
![](https://i-blog.csdnimg.cn/blog_migrate/4452d13ca416890f07077ed77a78481f.png)
### --- 优化器
~~~ 与关系型数据库类似,Hive会在真正执行计算之前,生成和优化逻辑执行计划与物理执行计划。
~~~ Hive有两种优化器:Vectorize(向量化优化器) 与 Cost-Based Optimization (CBO 成本优化器)。
### --- 矢量化查询执行
~~~ 矢量化查询(要求执行引擎为Tez)执行通过一次批量执行1024行而不是每行一行来提高扫描,
~~~ 聚合,过滤器和连接等操作的性能,这个功能一显着缩短查询执行时间。
### --- 备注:要使用矢量化查询执行,必须用ORC格式存储数据
set hive.vectorized.execution.enabled = true; -- 默认 false
set hive.vectorized.execution.reduce.enabled = true; -- 默认 false
### --- 成本优化器
~~~ Hive的CBO是基于apache Calcite的,
~~~ Hive的CBO通过查询成本(有analyze收集的统计信息)会生成有效率的执行计划,
~~~ 最终会减少执行的时间和资源的利用,使用CBO的配置如下:
SET hive.cbo.enable=true; --从 v0.14.0默认
true
SET hive.compute.query.using.stats=true; -- 默认false
SET hive.stats.fetch.column.stats=true; -- 默认false
SET hive.stats.fetch.partition.stats=true; -- 默认true
### --- 定期执行表(analyze)的分析,分析后的数据放在元数据库中。
~~~ # 分区表
~~~ 对于一张比较大的表,将其设计成分区表可以提升查询的性能,对于一个特定分区的查询,
~~~ 只会加载对应分区路径的文件数据,所以执行速度会比较快。
~~~ 分区字段的选择是影响查询性能的重要因素,尽量避免层级较深的分区,
~~~ # 这样会造成太多的子文件夹。一些常见的分区字段可以是:
~~~ 日期或时间。如year、month、day或者hour,当表中存在时间或者日期字段时
~~~ 地理位置。如国家、省份、城市等
~~~ 业务逻辑。如部门、销售区域、客户等等
### --- 分桶表
~~~ 与分区表类似,分桶表的组织方式是将HDFS上的文件分割成多个文件。
~~~ 分桶可以加快数据采样,也可以提升join的性能(join的字段是分桶字段),
~~~ 因为分桶可以确保某个key对应的数据在一个特定的桶内(文件),
~~~ 巧妙地选择分桶字段可以大幅度提升join的性能。
~~~ 通常情况下,分桶字段可以选择经常用在过滤操作或者join操作的字段。
### --- 文件格式
~~~ 在HiveQL的create table语句中,可以使用stored as ... 指定表的存储格式。
~~~ Hive表支持的存储格式有TextFile、SequenceFile、RCFile、ORC、Parquet等。
~~~ 存储格式一般需要根据业务进行选择,生产环境中绝大多数表都采用TextFile、ORC、Parquet存储格式之一。
~~~ TextFile是最简单的存储格式,它是纯文本记录,也是Hive的默认格式。
~~~ 其磁盘开销大,查询效率低,更多的是作为跳板来使用。
~~~ RCFile、ORC、Parquet等格式的表都不能由文件直接导入数据,必须由TextFile来做中转。
~~~ Parquet和ORC都是Apache旗下的开源列式存储格式。
~~~ 列式存储比起传统的行式存储更适合批量OLAP查询,并且也支持更好的压缩和编码。
~~~ 选择Parquet的原因主要是它支持Impala查询引擎,并且对update、delete和事务性操作需求很低。
### --- 数据压缩
~~~ 压缩技术可以减少map与reduce之间的数据传输,从而可以提升查询性能,
~~~ 关于压缩的配置可以在hive的命令行中或者hive-site.xml文件中进行配置。
SET hive.exec.compress.1 intermediate=true
二、开启压缩之后,可以选择下面的压缩格式:
![](https://i-blog.csdnimg.cn/blog_migrate/f835ce954c8af765f05fb9d3d13ee793.png)
三、关于压缩的编码器可以通过mapred-site.xml, hive-site.xml进行配置也可以通过命令行进行配置如:
### --- 中间结果压缩
SET hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec ;
### --- 输出结果压缩
SET hive.exec.compress.output=true;
SET mapreduce.output.fileoutputformat.compress.codec =
org.apache.hadoop.io.compress.SnappyCodc
### --- 设计阶段:
~~~ 执行引擎
~~~ 优化器
~~~ 分区、分桶
~~~ 文件格式
~~~ 数据压缩