Hive零基础从入门到实战 进阶篇（二十） Hive常用调优

目录

前言

1. HiveQL实现流程优化

1.1 使用with as语法

1.2 分区剪裁与列剪裁

1.3 where条件中尽量不要加函数

1.4 函数不要嵌套太多层

1.5 在每一个子查询中使用group by去重

1.6 join优化

1.6.1 小表放左边

1.6.2 key保持一致

1.6.3 Map join

1.6.4 多用left join

1.7 数据倾斜

2. 参数设置优化

---

前言

由于Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具，所以运行速度十分感人，有时候甚至慢到你怀疑人生。但其实只要你掌握一些常见的简单调优手段，就可以大幅提高Hive跑数的速度。本文会介绍一些常用的Hive调优小技巧，给整个进阶篇画上一个句号。

 

1. HiveQL实现流程优化

使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以必须去掉原有关系型数据库下开发的一些固有思维。

 

1.1 使用with as语法

在入门篇（十八）中已经介绍过with as的用法和优点，主要有以下几点：

• 代替多层子查询，提高HQL语句的可读性；
• 会将表预先加载入内存，代码运行效率高；
• 可以将多次访