Spark:: leftOuterJoin算子

最新推荐文章于 2023-08-01 07:51:21 发布

茂密头发的源猴

最新推荐文章于 2023-08-01 07:51:21 发布

阅读量575

点赞数

文章标签： spark

本文链接：https://blog.csdn.net/weixin_48109576/article/details/107887674

版权

本文探讨了Spark中的leftOuterJoin操作，这是一个Transformation，涉及数据shuffle。它实现了类似左外连接的效果，确保左表的所有记录都显示，即使右表中没有匹配的键。若右表有匹配项，则结果为Some，否则为None。通过源码分析，我们发现leftOuterJoin与join的主要区别在于处理无匹配项的方式，其基于cogroup生成value对偶元组并进行flatMapValues处理。

摘要由CSDN通过智能技术生成

leftOuterJoin是Tranformation,具有shuffle

相当于左外连接,不管左表的key对应右表有没有,都会显示value,如果右表有就显示Some,没有就None

左表没有右表的key,那么右表的key就不显示

左表不管有没有与右表相同的key,左表都全部显示

看源码:

二个rdd的分区器为默认分区器,由Hashpartitioner,取二个rdd的最大分区为合并后rdd的分区

可以看到leftOuterJoin和join的差别不大就是多了个判断.也是有cogroup形成value对偶元组,然后flatMapValues压平取出

上代码实现
object LeftJoin {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setAppName("aggregateByKey").setMaster("local[*]")

    val sc = new SparkContext(conf)
    val rdd1 = sc.parallelize(List(("tom", 1), ("jerry