sql优化方法

1，注意检查Hive表的分区字段，并尽量多地使用

2，注明需要使用的列，而不是直接用 * 来获取所有列

3，尽量提前做过滤，减少后续处理的数据量

4，过滤条件写到子查询中，不要在外部写一个整体的大where条件

5，关注字段类型

虽然存在数据类型自动转换，但可能有坑。如date分区，大部分日期分区是字符串类型，不要吝啬引号：date='20190923'

6，注意别名使用

sql复杂时子查询别名要详尽有区分度

不要使用关键词作为别名，如inner，outer，join等

别名不要重复，可能造成sql解析歧义

7，不要在where条件中对分区字段做函数操作：

例如：

select *
from
origin_log.event_log_hourly
WHERE
app = 'hive'
and date = '${date}'
and event like '%news%'

这种条件不能下推会导致将所有event扫描一遍，应将具体的event都列出来event in （'news'，'news_article','news_lite')

8，union两边的数据类型必须匹配

9，不要在in中填入大量的过滤值，很多值请存临时表

10，控制sql中or的个数

曾出现where uid = 1 or uid = 2 or ......