spark开发中的Zip算子灵活使用

19 篇文章 0 订阅
9 篇文章 0 订阅

需要

本人开发中,需要聚合的文段
举个栗子:
RDD中有如下元素
k v
((a,b),List(7,8,9))
((a,b),List(1,2,3))
((a,b),List(4,5,6))
((c,d),List(4,5,6))
。。。。。。
reducebyke后要对v 操作
原理将v 中的list 前后zip 再map 每个元素进行 逐个元组元素(口,口)的累加。
a代表v的前一个元素,b代表v的后一个元素
如val a=List(7,8,9)
val b=List (1,2,3)
val k= a zip b =((7,1),(8,2)(9,3))
k map (tp=>tp._1+tp._2) ----- > (8,10,12)
如此循环 结果:
新RDD中的元素:
((a,b),List(12,15,18))
((c,d),List(4,5,6))
-----------------------------------------------分割符-----------------------------------
有兴趣了解更多知识,可以加关注我的个人大数据知识博客-大数据时空旅行者 《》《》《》《》

》》》》》》》》》》》》》》》》》》》》》》》》》》》》

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值