Spark Scala 二次排序

最新推荐文章于 2022-07-22 15:37:35 发布

秉寒-CHO

最新推荐文章于 2022-07-22 15:37:35 发布

阅读量986

点赞数

分类专栏： Spark scala

本文链接：https://blog.csdn.net/haohaixingyun/article/details/62057157

版权

Spark 同时被 2 个专栏收录

54 篇文章 0 订阅

订阅专栏

scala

35 篇文章 0 订阅

订阅专栏

package com.second.sortbyspark

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by xxxxx on 3/14/2017.
  */
object SecondarySort {

  def main(args: Array[String]): Unit = {

    val sparkConf = new SparkConf().setAppName("second sort").setMaster("local[4]")
    val sc = new SparkContext(sparkConf)
    //(1,1193)
    // (1,661)
    val dataRDD = sc.textFile("data/medium/ratings.dat")
//问题 在于如果 list 过大 怎么弄 ？？
    val splittedRDD = dataRDD.map(_.split("::")).map(x =>(x(0),x(1).toInt))  //如果是字符串怎么比较 ？？
    val groupSort = splittedRDD.groupByKey().sortByKey(false).map(x => (x._1,x._2.toList.sortWith(_>_)))
    groupSort.take(10).foreach(println )
    val finalRDD = groupSort.flatMap{ x =>

      val length = x._2.length
      val array = new Array[(String,Int)](length)
      for(elem <- 0 until length){
        array(elem) = (x._1,x._2(elem))
      }
      array
    }.take(10)
    finalRDD.foreach(println )

  }

}