scala语言二次排序实现

object SecondSort {
  def main(args: Array[String]) {
    val conf=new SparkConf().setAppName("SecondSort").setMaster("local[2]")
    val sc=new SparkContext(conf)
    val textFile=sc.textFile("/spark/second.txt")
    val word=textFile
        .map(_.split("\t")) //: RDD[Array[String]]
        .map(tuple=>(tuple(0),tuple(1).toInt)) //: RDD[(String, Int)]
        .groupByKey() //: RDD[(String, Iterable[Int])]
        .map(tuple=>{
          val key=tuple._1
          val value=tuple._2
          (key,value.toList.sorted)
        }) //: RDD[(String, List[Int])]
        .sortByKey() //: RDD[(String, List[Int])]
    word.foreach(count=>println(count._1+":"+count._2.toString()))
  }
}
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值