Left join结果却是Inner join？（Spark/Hive）

已于 2025-02-08 15:23:57 修改
阅读量4.3k 收藏 14
点赞数 3
分类专栏： Spark/Hive 文章标签： 数据仓库 hive spark 大数据
于 2022-08-21 11:21:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33446500/article/details/126448817
版权

将右表条件写在了where上，导致执行结果变成inner join。

1. left join where和on条件的区别

测试数据

--建表
create table zzzt1(id string, name string) partitioned by (dt string);
create table zzzt2(id string, class string) partitioned by (dt string);

-- 插入数据
set hive.exec.dynamic.partition.mode=nonstrict;
INSERT overwrite TABLE zzzt1 partition(dt) values
('1','A','2022-08-10'), 
('2','B','2022-08-10'),
('1','A1','2022-08-11'),
('2','B1','2022-08-11')

INSERT overwrite TABLE zzzt2 partition(dt) values
('1','101', '2022-08-10'),
('2','101', '2022-08-10'),
('1','102','2022-08-11'),
('2','102','2022-08-11')
  • 示例1
SELECT  t1.id AS id1
       ,t2.id AS id2
       ,name
       ,class
       ,t1.dt AS dt1
       ,t2.dt AS dt2
FROM zzzt1 AS t1
LEFT JOIN zzzt2 AS t2
ON t1.id = t2.id
WHERE t1.id = '1'
+------+------+-------+--------+-------------+-------------+
| id1  | id2  | name  | class  |     dt1     |     dt2     |
+------+------+-------+--------+-------------+-------------+
| 1    | 1    | A     | 101    | 2022-08-10  | 2022-08-10  |
| 1    | 1    | A     | 102    | 2022-08-10  | 2022-08-11  |
| 1    | 1    | A1    | 101    | 2022-08-11  | 2022-08-10  |
| 1    | 1    | A1    | 102    | 2022-08-11  | 2022-08-11  |
+------+------+-------+--------+-------------+-------------+
  • 示例2
SELECT  t1.id AS id1
       ,t2.id AS id2
       ,name
       ,class
       ,t1.dt AS dt1
       ,t2.dt AS dt2
FROM zzzt1 AS t1
LEFT JOIN zzzt2 AS t2
ON t1.id = t2.id AND t1.id = '1'
+------+-------+-------+--------+-------------+-------------+
| id1  |  id2  | name  | class  |     dt1     |     dt2     |
+------+-------+-------+--------+-------------+-------------+
| 1    | 1     | A     | 101    | 2022-08-10  | 2022-08-10  |
| 1    | 1     | A     | 102    | 2022-08-10  | 2022-08-11  |
| 1    | 1     | A1    | 101    | 2022-08-11  | 2022-08-10  |
| 1    | 1     | A1    | 102    | 2022-08-11  | 2022-08-11  |
| 2    | NULL  | B     | NULL   | 2022-08-10  | NULL        |
| 2    | NULL  | B1    | NULL   | 2022-08-11  | NULL        |
+------+-------+-------+--------+-------------+-------------+

将左表的t1.id = '1'条件从where移到on中后，结果中仅仅包含了右表id=1的连接结果。

  • 示例3
SELECT  t1.id AS id1
       ,t2.id AS id2
       ,name
       ,class
       ,t1.dt AS dt1
       ,t2.dt AS dt2
FROM zzzt1 AS t1
LEFT JOIN zzzt2 AS t2
ON t1.id = t2.id AND t2.id = '1'
+------+-------+-------+--------+-------------+-------------+
| id1  |  id2  | name  | class  |     dt1     |     dt2     |
+------+-------+-------+--------+-------------+-------------+
| 1    | 1     | A     | 101    | 2022-08-10  | 2022-08-10  |
| 1    | 1     | A     | 102    | 2022-08-10  | 2022-08-11  |
| 1    | 1     | A1    | 101    | 2022-08-11  | 2022-08-10  |
| 1    | 1     | A1    | 102    | 2022-08-11  | 2022-08-11  |
| 2    | NULL  | B     | NULL   | 2022-08-10  | NULL        |
| 2    | NULL  | B1    | NULL   | 2022-08-11  | NULL        |
+------+-------+-------+--------+-------------+-------------+

on条件中增加t2.id = '1'，结果中仅仅包含了右表id=1的连接结果。

  • 示例4
SELECT  t1.id AS id1
       ,t2.id AS id2
       ,name
       ,class
       ,t1.dt AS dt1
       ,t2.dt AS dt2
FROM zzzt1 AS t1
LEFT JOIN zzzt2 AS t2
ON t1.id = t2.id
WHERE t2.id = '1'
+------+------+-------+--------+-------------+-------------+
| id1  | id2  | name  | class  |     dt1     |     dt2     |
+------+------+-------+--------+-------------+-------------+
| 1    | 1    | A     | 101    | 2022-08-10  | 2022-08-10  |
| 1    | 1    | A     | 102    | 2022-08-10  | 2022-08-11  |
| 1    | 1    | A1    | 101    | 2022-08-11  | 2022-08-10  |
| 1    | 1    | A1    | 102    | 2022-08-11  | 2022-08-11  |
+------+------+-------+--------+-------------+-------------+

右表t2.id = '1'条件写在where中，结果同inner join。

上述4个示意中，存在两个疑问：

  • 为什么示例2和3中的结果中仅包含右表中id=1的连接结果。
  • 为什么右表中的条件是写在where中，结果同inner join？

分别查看上述三个SQL的执行计划。

示例1执行计划如下，从执行计划中可知写在where中的左表t1.id = '1'条件分别加入到t1表和t2表的fliter和谓词下推中，EqualTo(id,1)、(id#6 = 1)、(id#9 = 1)。

== Physical Plan ==
*CollectLimit 1000
+- *(3) Project [id#6 AS id1#2, id#9 AS id2#3, name#7, class#10, dt#8 AS dt1#4, dt#11 AS dt2#5]
   +- SortMergeJoin [id#6], [id#9], LeftOuter
      :- *(1) Sort [id#6 ASC NULLS FIRST], false, 0
      :  +- *Exchange hashpartitioning(id#6, 900)
      :     +- *(1) Project [id#6, name#7, dt#8]
      :        +- *(1) Filter (isnotnull(id#6) && (id#6 = 1))
      :           +- *(1) FileScan orc zzzt1[id#6,name#7,dt#8] Batched: true, Format: ORC, Location: CatalogFileIndex[hdfs://***db/zzzt01], PartitionFilters: [], PushedFilters: [IsNotNull(id), EqualTo(id,1)], ReadSchema: struct<id:string,name:string>
      +- *(2) Sort [id#9 ASC NULLS FIRST], false, 0
         +- *Exchange hashpartitioning(id#9, 900)
            +- *(1) Project [id#9, class#10, dt#11]
               +- *(1) Filter ((id#9 = 1) && isnotnull(id#9))
                  +- *(1) FileScan orc zzzt2[id#9,class#10,dt#11] Batched: true, Format: ORC, Location: CatalogFileIndex[hdfs://***db/zzzt2], PartitionFilters: [], PushedFilters: [EqualTo(id,1), IsNotNull(id)], ReadSchema: struct<id:string,class:string>

示例2执行计划如下，从执行计划可知，写在on中的左表t1.id = '1'条件，并没有作用在左表上，而是作用在了右表，EqualTo(id,1)、(id#9 = 1)。

== Physical Plan ==
*CollectLimit 1000
+- *(3) Project [id#6 AS id1#2, id#9 AS id2#3, name#7, class#10, dt#8 AS dt1#4, dt#11 AS dt2#5]
   +- SortMergeJoin [id#6], [id#9], LeftOuter, (id#6 = 1)
      :- *(1) Sort [id#6 ASC NULLS FIRST], false, 0
      :  +- *Exchange hashpartitioning(id#6, 900)
      :     +- *(1) FileScan orc zzzt1[id#6,name#7,dt#8] Batched: true, Format: ORC, Location: CatalogFileIndex[hdfs://***db/zzzt01], PartitionFilters: [], PushedFilters: [], ReadSchema: struct<id:string,name:string>
      +- *(2) Sort [id#9 ASC NULLS FIRST], false, 0
         +- *Exchange hashpartitioning(id#9, 900)
            +- *(1) Project [id#9, class#10, dt#11]
               +- *(1) Filter ((id#9 = 1) && isnotnull(id#9))
                  +- *(1) FileScan orc zzzt2[id#9,class#10,dt#11] Batched: true, Format: ORC, Location: CatalogFileIndex[hdfs://***db/zzzt2], PartitionFilters: [], PushedFilters: [EqualTo(id,1), IsNotNull(id)], ReadSchema: struct<id:string,class:string>

示例3执行计划如下，从执行计划可知，写在on中的右表t2.id = '1'条件作用在了右表上，EqualTo(id,1)、(id#9 = 1)。

== Physical Plan ==
*CollectLimit 1000
+- *(3) Project [id#6 AS id1#2, id#9 AS id2#3, name#7, class#10, dt#8 AS dt1#4, dt#11 AS dt2#5]
   +- SortMergeJoin [id#6], [id#9], LeftOuter
      :- *(1) Sort [id#6 ASC NULLS FIRST], false, 0
      :  +- *Exchange hashpartitioning(id#6, 900)
      :     +- *(1) FileScan orc zzzt1[id#6,name#7,dt#8] Batched: true, Format: ORC, Location: CatalogFileIndex[hdfs://***db/zzzt01], PartitionFilters: [], PushedFilters: [], ReadSchema: struct<id:string,name:string>
      +- *(2) Sort [id#9 ASC NULLS FIRST], false, 0
         +- *Exchange hashpartitioning(id#9, 900)
            +- *(1) Project [id#9, class#10, dt#11]
               +- *(1) Filter (isnotnull(id#9) && (id#9 = 1))
                  +- *(1) FileScan orc zzzt2[id#9,class#10,dt#11] Batched: true, Format: ORC, Location: CatalogFileIndex[hdfs://***db/zzzt2], PartitionFilters: [], PushedFilters: [IsNotNull(id), EqualTo(id,1)], ReadSchema: struct<id:string,class:string>

示例4执行计划如下，从执行计划可知，写在where中的右表t2.id = '1'条件，同时作用在了左表和右表，EqualTo(id,1)、(id#6 = 1)、(id#9 = 1)

== Physical Plan ==
*CollectLimit 1000
+- *(3) Project [id#6 AS id1#2, id#9 AS id2#3, name#7, class#10, dt#8 AS dt1#4, dt#11 AS dt2#5]
   +- *(3) SortMergeJoin [id#6], [id#9], Inner
      :- *(1) Sort [id#6 ASC NULLS FIRST], false, 0
      :  +- *Exchange hashpartitioning(id#6, 900)
      :     +- *(1) Project [id#6, name#7, dt#8]
      :        +- *(1) Filter ((id#6 = 1) && isnotnull(id#6))
      :           +- *(1) FileScan orc zzzt1[id#6,name#7,dt#8] Batched: true, Format: ORC, Location: CatalogFileIndex[hdfs://***db/zzzt01], PartitionFilters: [], PushedFilters: [EqualTo(id,1), IsNotNull(id)], ReadSchema: struct<id:string,name:string>
      +- *(2) Sort [id#9 ASC NULLS FIRST], false, 0
         +- *Exchange hashpartitioning(id#9, 900)
            +- *(1) Project [id#9, class#10, dt#11]
               +- *(1) Filter (isnotnull(id#9) && (id#9 = 1))
                  +- *(1) FileScan orc zzzt2[id#9,class#10,dt#11] Batched: true, Format: ORC, Location: CatalogFileIndex[hdfs://***db/zzzt2], PartitionFilters: [], PushedFilters: [IsNotNull(id), EqualTo(id,1)], ReadSchema: struct<id:string,class:string>

从以上4个执行计划中还可以发现，id字段做作为条件是，会自动加上 is not null 限制。

1.1. right join

接下来看下右链接中，左右表条件分别写在where和on的结果。

SELECT  t1.id AS id1
       ,t2.id AS id2
       ,name
       ,class
       ,t1.dt AS dt1
       ,t2.dt AS dt2
FROM zzzt1 AS t1
right JOIN zzzt2 AS t2
ON t1.id = t2.id
WHERE t1.id = '1'
-- 左表条件写在where中，同上述示例4
+------+------+-------+--------+-------------+-------------+
| id1  | id2  | name  | class  |     dt1     |     dt2     |
+------+------+-------+--------+-------------+-------------+
| 1    | 1    | A     | 101    | 2022-08-10  | 2022-08-10  |
| 1    | 1    | A     | 102    | 2022-08-10  | 2022-08-11  |
| 1    | 1    | A1    | 101    | 2022-08-11  | 2022-08-10  |
| 1    | 1    | A1    | 102    | 2022-08-11  | 2022-08-11  |
+------+------+-------+--------+-------------+-------------+

SELECT  t1.id AS id1
       ,t2.id AS id2
       ,name
       ,class
       ,t1.dt AS dt1
       ,t2.dt AS dt2
FROM zzzt1 AS t1
right JOIN zzzt2 AS t2
ON t1.id = t2.id AND t1.id = '1'
-- 左表条件写在on中，同上述示例3
+-------+------+-------+--------+-------------+-------------+
|  id1  | id2  | name  | class  |     dt1     |     dt2     |
+-------+------+-------+--------+-------------+-------------+
| 1     | 1    | A     | 101    | 2022-08-10  | 2022-08-10  |
| 1     | 1    | A     | 102    | 2022-08-10  | 2022-08-11  |
| 1     | 1    | A1    | 101    | 2022-08-11  | 2022-08-10  |
| 1     | 1    | A1    | 102    | 2022-08-11  | 2022-08-11  |
| NULL  | 2    | NULL  | 102    | NULL        | 2022-08-11  |
| NULL  | 2    | NULL  | 101    | NULL        | 2022-08-10  |
+-------+------+-------+--------+-------------+-------------+

SELECT  t1.id AS id1
       ,t2.id AS id2
       ,name
       ,class
       ,t1.dt AS dt1
       ,t2.dt AS dt2
FROM zzzt1 AS t1
right JOIN zzzt2 AS t2
ON t1.id = t2.id AND t2.id = '1'
-- 右表条件写在on中，同上述示例2
+-------+------+-------+--------+-------------+-------------+
|  id1  | id2  | name  | class  |     dt1     |     dt2     |
+-------+------+-------+--------+-------------+-------------+
| 1     | 1    | A     | 101    | 2022-08-10  | 2022-08-10  |
| 1     | 1    | A     | 102    | 2022-08-10  | 2022-08-11  |
| 1     | 1    | A1    | 101    | 2022-08-11  | 2022-08-10  |
| 1     | 1    | A1    | 102    | 2022-08-11  | 2022-08-11  |
| NULL  | 2    | NULL  | 101    | NULL        | 2022-08-10  |
| NULL  | 2    | NULL  | 102    | NULL        | 2022-08-11  |
+-------+------+-------+--------+-------------+-------------+

SELECT  t1.id AS id1
       ,t2.id AS id2
       ,name
       ,class
       ,t1.dt AS dt1
       ,t2.dt AS dt2
FROM zzzt1 AS t1
right JOIN zzzt2 AS t2
ON t1.id = t2.id
WHERE t2.id = '1'
-- 右表条件写在where中，同上述示例1
+------+------+-------+--------+-------------+-------------+
| id1  | id2  | name  | class  |     dt1     |     dt2     |
+------+------+-------+--------+-------------+-------------+
| 1    | 1    | A     | 101    | 2022-08-10  | 2022-08-10  |
| 1    | 1    | A     | 102    | 2022-08-10  | 2022-08-11  |
| 1    | 1    | A1    | 101    | 2022-08-11  | 2022-08-10  |
| 1    | 1    | A1    | 102    | 2022-08-11  | 2022-08-11  |
+------+------+-------+--------+-------------+-------------+

结论
在使用left join时最好将右表的条件写在on中。rigth join同理，将左表的条件写在on条件中。

2. 多个join的执行顺序

验证多个left join时得执行顺序

create table zzzt3(id string, des string);
INSERT overwrite TABLE zzzt3 values
('101','班级1'),
('102','班级2')

SELECT  t1.id AS id1
       ,t2.id AS id2
       ,name
       ,class
       ,t1.dt AS dt1
       ,t2.dt AS dt2
       ,t3.des
FROM zzzt1 AS t1
LEFT JOIN zzzt2 AS t2
ON t1.id = t2.id and t2.id = '1'
left join zzzt3 t3
on t2.class = t3.id
-- 执行结果为
+------+-------+-------+--------+-------------+-------------+---------+
| id1  |  id2  | name  | class  |     dt1     |     dt2     | t3.des  |
+------+-------+-------+--------+-------------+-------------+---------+
| 1    | 1     | A     | 101    | 2022-08-10  | 2022-08-10  | 班级1     |
| 1    | 1     | A     | 102    | 2022-08-10  | 2022-08-11  | 班级2     |
| 1    | 1     | A1    | 101    | 2022-08-11  | 2022-08-10  | 班级1     |
| 1    | 1     | A1    | 102    | 2022-08-11  | 2022-08-11  | 班级2     |
| 2    | NULL  | B     | NULL   | 2022-08-10  | NULL        | NULL    |
| 2    | NULL  | B1    | NULL   | 2022-08-11  | NULL        | NULL    |
+------+-------+-------+--------+-------------+-------------+---------+

SELECT  t1.id AS id1
       ,t2.id AS id2
       ,name
       ,class
       ,t1.dt AS dt1
       ,t2.dt AS dt2
       ,t3.des
FROM zzzt1 AS t1
LEFT JOIN zzzt2 AS t2
ON t1.id = t2.id and t2.id = '1'
join zzzt3 t3
on t2.class = t3.id
+------+------+-------+--------+-------------+-------------+---------+
| id1  | id2  | name  | class  |     dt1     |     dt2     | t3.des  |
+------+------+-------+--------+-------------+-------------+---------+
| 1    | 1    | A     | 101    | 2022-08-10  | 2022-08-10  | 班级1     |
| 1    | 1    | A     | 102    | 2022-08-10  | 2022-08-11  | 班级2     |
| 1    | 1    | A1    | 102    | 2022-08-11  | 2022-08-11  | 班级2     |
| 1    | 1    | A1    | 101    | 2022-08-11  | 2022-08-10  | 班级1     |
+------+------+-------+--------+-------------+-------------+---------+

从结果得知，多表进行join时，执行顺序按照join的前后顺序，先执行前两个表join得到一个虚拟的表，再和第三个表进行join，得到虚拟结果后，继续和第四个表进进行join……。

Hive中join条件过滤on和where的区别
Learning
06-17 2316
1、inner join inner join首先可以通过分区进行过滤，防止全表扫描。 inner join会自动为join的键（on d.id=u.department_id）添加is not null的过滤条件 inner join 下on和where后面的条件进行过滤，在inner join中where和on是同时进行过滤，没有顺序的区别 2、left/right join left/right join使用分区条件过滤，可以防止全表扫描，最优先过滤 left/right join在主表下进
多个left join的疑问
kylin_learn的博客
12-19 1067
测试数据a表id1-10，b表id5-12，c表id2-11 目的：找到满足a表不满足b表满足c表的id（应该是2，3，4） use test; create table testtesta (id bigint); insert into testtesta values (1); insert into testtesta values (2); insert into testtes...
leftjoin及多个leftjoin执行顺序
weixin_30632089的博客
08-03 1335
给个通俗的解释吧.例表aaid adate1 a12 a23 a3表bbid bdate1 b12 b24 b4两个表a,b相连接,要取出id相同的字段select * from a inner join b on a.aid = b.bid这是仅取出匹配的数据.此时的取出的是:1 a1 b12 a2 b2那么left join 指:select * f...
INNER JOIN 与 LEFT JOIN 的区别?
最新发布
zw45607076875的博客
04-07 946
•。
多个left join 怎么执行?
pasken的专栏
10-13 2万+
求教多个left join 怎么执行？ 多个left join连接，记录条数是不是主表的条数 ？（大于等于主表记录数）
如何同时使用多个join——多个连续的left join连接顺序验证
kennyharris
10-18 5083
在实际工作中，很多情况下会用到外连接，尤其是做主页面的数据展示查询时，连续用到多个left join会很常见，这样的多个left join会怎么样执行呢，之前在网上查到的执行顺序是，顺序的从坐到右的连接表，例如有 a,b,c三张表的数据都需要查到，就需要进行连接查询，如 select * from a left join b on a.id = b.id left join a.id = c.id，这时是怎么顺序进行执行的呢？
多个left join 执行流程
tamink2013的博客
06-23 2725
select a.cName from table1 a LEFT JOIN table2 b ON a.code=b.code LEFT JOIN table3 c ON a.code=c.code过程是这样的:1, 首先table1左链接table2,得到一个中间结果,该中间结果包括table1的所有行以及table2中与table1匹配条件(a.code=b.code)的行2, 该中间结...
Spark/Hive 常用函数
Young的博客
07-13 939
1、rank 遇重复值排序并列，然后跳跃到当前排序记录次数开始（递增或递减）排序2、row_number 遇重复值排序不并列，连续不间断（递增或递减）排序3、dense_rank 遇重复值排序并列，然后继续不间断（递增或递减）排序............
Spark性能调优案例-多表join优化，减少shuffle
u014034497的专栏
11-12 2314
A任务在凌晨1点到3点，平均耗时1h,且是核心公共任务，急需优化。
SparkSql MAPJOIN优化之小表left join大表
lquarius的博客
09-03 9015
首先我们要了解MAPJOIN优化原理，这里简要说明下 Spark Broadcast hash join(Hive map join同理) 1，把小表广播到所有大表分布的节点上，在每个节点上分别进行单机hash join 2，left join时只能广播右表 执行基本条件：小表必须小于参数spark.sql.autoBroadcastJoinThreshold, 默认为10M sql场景小表需要leftjoin大表 小表150M左右 大表1T左右 原始sql(广播...
Hive-Summit-2011-join.zip_hive
09-21
1. **Hive Join操作**：Hive支持多种类型的Join，包括内连接（Inner Join）、左连接（Left Outer Join）、右连接（Right Outer Join）、全连接（Full Outer Join）以及自连接（Self Join）。在处理大数据时，选择...
多个left join怎么执行
zhaojk0815的博客
11-08 3966
@[ 转载 多个left join 怎么执行? 2015-10-13 14:46:51 九洲江 阅读数 3152收起 分类专栏： mySql 源址：http://bbs.csdn.net/topics/390741161 先说明2点： 1、left&...
深入剖析多个表left join on的执行步骤原理：实战案例解析与原理探讨
Apple_Boy的博客
07-13 3977
日常工作中写SQL，我们会经常left join一堆表，我最多见过的有20多张的。。。（在一家外企，然后还用了一堆存储过程有几千行的，吐了。。。）那么对于left join on和前面表关联条件的时候，有的时候是紧挨着的表，有的是隔开的，有啥区别呢？具体看看这个SELECT *FROM a上面这种我们更好理解一点，就是一步步的去关联join on紧挨着的前面表，我们来看下面这种有啥区别？
join语句的执行顺序
qq_42640067的博客
08-19 6665
前言 通常我们写的一个完整的SQL语句都可以拆分成多个子句，子句的执行过程通常会产生虚拟表。什么是虚拟表呢？虚拟表，英文为virtual table，简称为vt。顾名思义，就是实际上并不存在，至少在物理上是不存在的，但是在逻辑上却是存在的表。在MySQL中，有三种虚拟表：临时表、内存表和视图，这里不作详细的介绍，有兴趣的话可以自行查阅资料。回到正题，一条完整的SQL语句在执行的过程中会被拆分为多个SQL子句，每个子句执行时都会产生虚拟表vt，但是最终结果只会返回最后一个虚拟表。从这个思路入手，来理解一下jo
多个join的执行过程
学习小天地
08-02 2262
嵌套循环连接，就是先根据Join的类型和on条件进行逐层连接，每次连接完后用where对结果进行过滤。 在这个例子里，第一步只有A一个表，所以没有join的操作，直接对A用where a.id in (1,2，3，4，5，6)进行过滤，符合条件的记录作为主表，得到临时表t_A；第二步，t_A和B按照 A left join B b on a.bid = b.id 的规则来连接，对结果b.class...
多个left join on使用时的顺序问题
汝之秀
07-14 1611
-- 多个left join on使用时的顺序问题 -- 解答 -- a left join b on 条件1 left join c on 条件2 执行顺序是：先a和b进行连接，生成一张中间表d，然后再和c进行条件连接生成最后的表的数据 -- select * from a left join b on （a,b的连接条件）left join c on(a,b形成的...
SQL多个JOIN执行顺序
chenwanya5281的博客
12-15 6517
多个JOIN从左到右执行 select * from a left join b on a.id=b.id left join c on b.id=c.id 先a和b交的结果集t，t再和c相交 mysql> select * from a; +------+------+ | id...
left join on 和where条件的放置以及多个left join连接的执行顺序
一个搬砖工人
10-24 7973
数据库在通过连接两张或多张表来返回记录时，都会生成一张中间的临时表，然后再将这张临时表返回给用户。1 中间表 on条件: t1.size=t2.size and t2.name=‘AAA’ (条件不为真也会返回左表中的记录)2 再对中间表过滤 where 条件：where t2.name=‘AAA’1 中间表 on条件: t1.size=t2.size。顺序是先a,b组合成一个虚拟表，然后虚拟表再和C表关联。
多个连续的left join连接顺序验证
热门推荐
zkdceo的专栏
04-19 9万+
在实际工作中，很多情况下会用到外连接，尤其是做主页面的数据展示查询时，连续用到多个left join会很常见，这样的多个left join会怎么样执行呢，之前在网上查到的执行顺序是，顺序的从坐到右的连接表，例如有 a,b,c三张表的数据都需要查到，就需要进行连接查询，如 select *  from  a  left join b on a.id = b.id left join a.id = c
hive中full outer join怎麼防止數據傾斜
07-14
在Hive中，Full Outer Join操作可能会导致数据倾斜问题，即某些连接键的值过多，导致一些任务比其他任务更加繁重。为了防止数据倾斜，在Full Outer Join操作中可以采取以下几种方法： 1. 预处理数据：在进行Full Outer Join之前对数据进行预处理，通过聚合等方式减少数据倾斜。例如，可以对连接键进行哈希分桶，将数据均匀分布到不同的桶中。 2. 倾斜键处理：识别并处理倾斜键。可以通过将倾斜键单独处理，例如使用Map Join或者Broadcast Join操作，将倾斜键的数据放入内存中进行处理。 3. 动态调整并行度：根据数据倾斜情况动态调整任务的并行度。可以通过设置hive.auto.convert.join.noconditionaltask参数为true，让Hive自动根据数据倾斜情况调整并行度。 4. 选择合适的连接方式：Full Outer Join可能不是最优的选择，根据实际情况考虑使用其他连接方式，如Left Outer Join、Right Outer Join或Inner Join等。 5. 使用其他工具：如果Hive无法有效处理数据倾斜问题，可以考虑使用其他工具或框架，如Spark或Flink等，来进行更灵活和高效的数据处理。 以上是一些常见的方法，根据具体情况选择合适的策略来防止数据倾斜问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值