spark RDD基础装换操作--mapPartitionsWithIndex操作

最新推荐文章于 2022-06-07 17:48:21 发布

菩提树下的呆子

最新推荐文章于 2022-06-07 17:48:21 发布

阅读量393

点赞数

分类专栏： spark 文章标签： spark 大数据

本文链接：https://blog.csdn.net/weixin_43744732/article/details/104110871

版权

spark 专栏收录该内容

20 篇文章 0 订阅

订阅专栏

6.mapPartitionsWithIndex操作

将RDD中所有考试分数高于95分的“学生准考证号”,“对应分数” 和“当前数据所在分区”拼接后输出。

scala> val rddData =sc.parallelize(Array(("20180001",83),("201800002",97),("20180003",100),("20180004",95),("20180005",87)),2)
rddData: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[0] at parallelize at <console>:24

scala> val rddData2 = rddData.mapPartitionsWithIndex((index,iter) => {var result = List[String]()
     | while(iter.hasNext){result = iter.next() match{case (id,grade) if grade >= 95 => id + "_" + grade + "[" + index + "]" :: result case _ => result}}
     | result.iterator
     | })
rddData2: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[1] at mapPartitionsWithIndex at <console>:26

scala> rddData2.collect
res0: Array[String] = Array(201800002_97[0], 20180004_95[1], 20180003_100[1])

说明：
mapPartitionsWithIndex与mapPartitions功能类似，但是它可以知道数据的分区位置。