hive join on 条件 与 where 条件区别

背景

最近项目组上，来了几个实习生，对 Hive sql 的 join 的使用不是很熟悉，几个人写出来的sql 看上去感觉都是一样的，但结果可能会出现，扫描全表，耗时过久，造成数据有所有差异

业务场景

根据常见的场景，写了几条sql ，看 on 和 where 的作用域 ，查询 事实表 a 中的在 20200602 这天的数据，维度表 b
对于上述的这种需求 ，有可能会出现下列这几种sql

sql1

select 
	*
from a 
left join b 
  on a.id = b.id 
  and a.date=20200602;

sql2

select 
	*
from a 
left join b 
  on a.id = b.id 
  and b.date=20200602;

sql3

select 
	*
from a 
join b 
  on a.id = b.id 
  and a.date=20200602;

sql4

select 
	*
from a 
join b 
  on a.id = b.id and b.date=20200602
where a.date=20200602;

结论

sql1: 如果是left join 在on上写主表a的条件不会生效，全表扫描。

sql2: 如果是left join 在on上写副表b的条件会生效，但是语义与写到where 条件不同，写到on后，先过滤后关联，写到where后，先关联后过滤

sql3: 如果是inner join 在on上写主表a、副表b的条件都会生效

sql4: 结合 前三条 sql 的结果，建议这么写，先过滤a表数据和b表数据，后关联join

执行顺序
1.where a.date=20200602 (过滤a)
2. b.date=20200602(过滤b)
3.a.id = b.id (关联)