Spark BroadCastJoin时,基表不能被广播的原因
相信很多小伙伴在看Spark的各种join的文章时,总会看到Spark BroadCastJoin时,基表不能被广播。
比如 left outer join 时,只能广播右表。但是都没写什么原因,以下是我个人猜测的原因
假设有A和B表,数据如下:
查询sql为:
select A.name,B.age from A left join B on A.name = B.name
结果应该为:
假设broadcast join广播的不是右表而是左表。即广播了A表,同时B表读取进来时分成了两个partition,如下:
这样join完的结果写入hive后跟预想的结果不一致,有重复的记录。虽然最后可以用分组和过滤的方式达到正确结果,但是又要走shuffle而且比较繁琐。
以上就是个人猜测的left join时基表不能作为广播表的原因。