巧用union all 优化HiveSql

最新推荐文章于 2024-07-01 13:18:56 发布

学海无涯2.0

最新推荐文章于 2024-07-01 13:18:56 发布

阅读量1.8k

点赞数 1

分类专栏： hive学习文章标签： union 横向合并查询结果不用join的表连接 sql表连接 union的巧妙用法

本文链接：https://blog.csdn.net/weixin_42474635/article/details/89217177

版权

本文介绍了如何利用union all在Hive中进行高效的横向合并查询，对比了传统join方法，指出union经过优化后在某些场景下能提供更快的执行速度。通过实例展示了如何使用union all优化复杂查询，并提供了join筛选前后性能差异的提示。

摘要由CSDN通过智能技术生成

union的巧妙用法，使用union也可以横向合并sql查询结果

为什么在使用union效率会比较高，因为hive对union做了优化。
我们都知道union是纵向连接查询结果，join是横向，但是用union连接大家试过吗，未优化sql：

select ep.productid,productname,count(st.tduserid),count(distinct sl.tduserid),count(distinct sn.tduserid),avg(sl.interval_level)
from(select productid,productname from enterprise.product where productid = '3006090') ep
join(select tduserid,productid from tdanalytics.stg_td_web_page_ex where l_date <= '2019-04-07' and l_date >= date_add('2019-04-07', -6)) st
on ep.productid=st.productid
join(select tduserid,interval_level,productid from tdanalytics.stg_td_web_launch_ex where l_date <= '2019-04-07' and l_date >= date_add('2019-04-07', -6)) sl
on st.productid=sl.productid
join(select tduserid,productid from tdanalytics.stg_td_web_newuser_ex where l_date <= '2