Spark BroadCastJoin时，基表不能被广播的原因

Spark BroadCastJoin时，基表不能被广播的原因

相信很多小伙伴在看Spark的各种join的文章时，总会看到Spark BroadCastJoin时，基表不能被广播。

比如 left outer join 时，只能广播右表。但是都没写什么原因，以下是我个人猜测的原因

假设有A和B表，数据如下：

查询sql为：
select A.name,B.age from A left join B on A.name = B.name

结果应该为：

假设broadcast join广播的不是右表而是左表。即广播了A表，同时B表读取进来时分成了两个partition，如下：

这样join完的结果写入hive后跟预想的结果不一致，有重复的记录。虽然最后可以用分组和过滤的方式达到正确结果，但是又要走shuffle而且比较繁琐。

以上就是个人猜测的left join时基表不能作为广播表的原因。