大数据SQL如何实现笛卡尔积

最新推荐文章于 2024-08-19 21:52:29 发布

GDRetop

最新推荐文章于 2024-08-19 21:52:29 发布

阅读量5.6k

点赞数

分类专栏：大数据SQL技巧文章标签： sql 数据库 database 大数据

本文链接：https://blog.csdn.net/firenet1/article/details/125268142

版权

大数据SQL技巧专栏收录该内容

3 篇文章 1 订阅

订阅专栏

本文探讨了如何在SQL中利用笛卡尔积和JOIN操作生成大量数据，特别强调了CROSSJOIN和等于1连接的用法。同时，作者指出在处理大数据时需谨慎，并分享了笛卡尔积在统计窗口分析中的应用。最后，涉及从A表过滤B表数据的方法。

摘要由CSDN通过智能技术生成

根据笛卡尔积的定义，JOIN的两表中的任意一行都会形成一组关系对，如果A表有N条记录，B表有M条记录，A X B 会生产N*M条数据。
1. 可以通过" CROSS JOIN " 来实现笛卡尔积select * from A cross join b。
2. 如果不支持CROSS JOIN的情况下，可以采用 "select * from A join B on 1 = 1" 的方式实现。
3. 第二种方法可能在语法检测阶段就报错不支持，可以转成如下语法

select * from
(select * , '1' as flag from A)
t1 on
(select *, '1' as flag from B)
t2 where t1.flag = t2.flag

笛卡尔积会产生大量的数据，对内存、计算资源都会产生巨大压力，慎用！但是这种用法在应对需要统计不同窗口长度的指标时（如从订单表中计算7天、30天、90天内不同商户25%分位的订单金额或不重复的客户数量--具体使用会在SQL实践文章中详细说明）有很大帮助，可以减少重复代码量，也能避免重复读表。

下次聊聊在从A表中过筛选出或者排除掉包含在名单表B中的客户数据

（觉得写得不错就点个赞吧，头条号: 风控数据开发-唔崎欢迎关注）