spark中的join算子讲解

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是Sparkjoin算子的用法和示例: 1.内连接(inner join):返回两个RDD键相同的元素对,类似于SQL的INNER JOIN操作。 ```scala val rdd1 = sc.parallelize(Seq((1, "A"), (2, "B"), (3, "C"))) val rdd2 = sc.parallelize(Seq((1, "D"), (2, "E"), (4, "F"))) val result = rdd1.join(rdd2) result.foreach(println) ``` 输出结果为: ``` (1,(A,D)) (2,(B,E)) ``` 2.左外连接(left outer join):返回左侧RDD所有的元素以及右侧RDD键相同的元素对,如果右侧RDD没有匹配的元素,则用None表示。 ```scala val rdd1 = sc.parallelize(Seq((1, "A"), (2, "B"), (3, "C"))) val rdd2 = sc.parallelize(Seq((1, "D"), (2, "E"), (4, "F"))) val result = rdd1.leftOuterJoin(rdd2) result.foreach(println) ``` 输出结果为: ``` (1,(A,Some(D))) (2,(B,Some(E))) (3,(C,None)) ``` 3.右外连接(right outer join):返回右侧RDD所有的元素以及左侧RDD键相同的元素对,如果左侧RDD没有匹配的元素,则用None表示。 ```scala val rdd1 = sc.parallelize(Seq((1, "A"), (2, "B"), (3, "C"))) val rdd2 = sc.parallelize(Seq((1, "D"), (2, "E"), (4, "F"))) val result = rdd1.rightOuterJoin(rdd2) result.foreach(println) ``` 输出结果为: ``` (1,(Some(A),D)) (2,(Some(B),E)) (4,(None,F)) ``` 4.全外连接(full outer join):返回左右两侧RDD所有的元素以及键相同的元素对,如果左右两侧RDD没有匹配的元素,则用None表示。 ```scala val rdd1 = sc.parallelize(Seq((1, "A"), (2, "B"), (3, "C"))) val rdd2 = sc.parallelize(Seq((1, "D"), (2, "E"), (4, "F"))) val result = rdd1.fullOuterJoin(rdd2) result.foreach(println) ``` 输出结果为: ``` (1,(Some(A),Some(D))) (2,Some(B),Some(E))) (3,(Some(C),None)) (4,(None,Some(F))) ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值