实习中的一些SQL优化

最新推荐文章于 2024-08-23 15:18:25 发布

LkChase

最新推荐文章于 2024-08-23 15:18:25 发布

阅读量100

点赞数 2

文章标签： sql hive spark 数据仓库大数据

本文链接：https://blog.csdn.net/linken01/article/details/128959544

版权

文章介绍了几个SQL查询优化的策略，包括通过提前过滤减少JOIN操作的数据量，用GROUPBY替代DISTINCT以优化资源消耗，调整多表JOIN顺序，以及在需要全集时使用FULLJOIN并配合COALESCE处理NULL值问题。

摘要由CSDN通过智能技术生成

介绍一些简单实用的SQL优化。

提前过滤

--对于两个需要关联的大表，因为where的顺序在Join之后，可以先建立临时表进行where过滤
with tbl_a as (
select 
    user_id
from 
    a
where 
    p_date = '${DATE}'
),
with tbl_b as (
select 
    user_id
from 
    b
where 
    p_date = '${DATE}'
)
select tbl_a.user_id
from 
	tbl_a 
	join
	tbl_b
	on tbl_a.user_id = tbl_b.user_id

group by代替distinct

--distinct需要去重，在大表关联中使用distinct是十分消耗资源的，
--此时可以先采用group by对字段进行去重
with tbl_a as (
select 
    user_id
from 
    a
where 
    p_date = '${DATE}'
group by
    user_id
),
with tbl_b as (
select 
    user_id
from 
    b
where 
    p_date = '${DATE}'
group by
    user_id
)
select count(tbl_a.user_id)
from 
	tbl_a 
	join
	tbl_b
	on tbl_a.user_id = tbl_b.user_id

多表JOIN顺序调整

full join的使用

--对于取全集的情况，可以用full join代替left join union all right join
--但需要注意的是，为了避免为NULL的情况，需要在外面嵌套一层取MAX的字段
--对于维度字段，则可以使用coalesce来避免为NULL的情况
select 
	
	MAX(a_num),
	MAX(b_num)
from 
	(
      select
    	coalesce(a.p_date, b.p_date) as p_date,
        a.num as a_num,
        b.num as b_num
      from 
        a
      full join
        b
       	on a.p_date = b.p_date
    )tmp