Spark RDD中Transformation的map、flatMap、mapPartitions、glom详解

这里写图片描述
Ma(func) 返回一个新的分布式数据集,该数据集由每一个输入元素经过func函数转换后组成。
由上可以看出,每一个分片中每一个元素都要经过f函数,将原来元素转成新元素u。
这里写图片描述
V1,V2,V3组成一个集合,经过flatMap之后就会将原来的几个集合合并成一个集合,产生新的RDD。
这里写图片描述
它会以整个分区为输入函数,也就是说这个函数是作用于整个分区的。应用在连接数据库,
使用mapPartitions连接我们要操作的具体的数据块,而连上之后我们通过具体的句柄,来操作这个数据块。
这里写图片描述
glom是将每一个分区形成一个数组,形成新的RDD类型时RDD[Array[T]]

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值