spark转换算子 k-v类型数据的使用

孤独的挑灯者

于 2020-09-24 21:29:36 发布

阅读量656

点赞数 2

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/helloTTi/article/details/108783641

版权

本文深入探讨了Spark中处理K-V类型数据的转换算子，包括partitionBy、reduceByKey、groupByKey、aggregateByKey、foldByKey、combineByKey、sortByKey、mapValues、join和cogroup。强调了reduceByKey与groupByKey的区别，以及如何根据业务需求选择合适的算子。同时介绍了combineByKey的三个关键函数：createCombiner、mergeValue和mergeCombiners，用于创建和合并累加器。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

partitionBy

//自定义类继承分区父类
class MyPartition(number:Int) extends Partitioner{
   
  override def numPartitions: Int = number
  override def getPartition(key: Any): Int = {
   
    if(key.isInstanceOf[Int]){
   
      val keyInt: Int = key.asInstanceOf[Int]
      if (keyInt % 2==0)
        0
      else
        1
    }
    else
      0
  }
}

 //3.1 创建第一个RDD
    val rdd: RDD[(Int, String)] = sc.makeRDD(Array((1,"aaa"),(2,"bbb"),(3,"ccc")),3)
//使用默认分区
//     val rdd2: RDD[(Int, (Int, String))] = rdd.partitionBy(new HashPartitioner(2)).mapPartitionsWithIndex((index,items)=>items.map((index,_)))
//使用自定义分区
    val rdd2: RDD[(Int, String)] = rdd.partitionBy(new MyPartition(2))
    rdd2.collect().foreach(println)

reduceByKey()按照K聚合V

 val rdd = sc.makeRDD(List(("a",1),("b",5),("a",5),("b",2)))

    val rdd1: RDD[(String, Int)]

最低0.47元/天解锁文章