SQL的join与spark join区别

spark中想到了对右表中数据小于开启广播的大小,会自动优化;
但是不确定是否左边表也能够自动检测小于并优化为广播;
还想到了对sql的支持,在语法上,SQL中是小表在前(左表)驱动大表;
然后还有sql中对in/exists/not in/not exists的使用推荐;

#这里计简要结论 默认left join形式
1. spark在join中只能对右表进行广播,并且要开启广播,数据小于配置 
spark.broadcast.blockSize(默认4M,注意磁盘与内存中数据大小可能不一样,
压不压缩也影响,比如parquet/orc开启压缩,然后到内存中可能会变大好几倍)

2. spark如果确定广播不适合,就左边小表,右表大表[与SQL中建议一致]
(注意是where条件之后的数据量不是全局)

3. SQL中left join 小表驱动大表,大表做索引之后,小表作索引才有效

5. SQL中 in 子查询中有小表,exists子表中放大表,也是子查询加索引
但是如果not 形式 子查询索引失效,用大表放入子查询

参考文章:
SQL join:
https://www.cnblogs.com/JonaLin/p/11392613.html
SQL in/exists
https://blog.csdn.net/wqc19920906/article/details/79800374
Spark:
https://zhuanlan.zhihu.com/p/271910611