首先效率非常的低,
最严重的是数据容易出错。
用什么代替 exists not exists , join
not exists 用left anti join 代替。 exists用join
尤其是不能用not in 效率非常低,这个问题是我亲身体验的,而且花了很长时间才检查出来的。因为sql不会报错但是严重占用内存,影响spark集群整体运行的效率
首先效率非常的低,
最严重的是数据容易出错。
用什么代替 exists not exists , join
not exists 用left anti join 代替。 exists用join
尤其是不能用not in 效率非常低,这个问题是我亲身体验的,而且花了很长时间才检查出来的。因为sql不会报错但是严重占用内存,影响spark集群整体运行的效率