利用Spark对文件里的数字进行排序并输出（附例子）

最新推荐文章于 2024-06-21 02:08:11 发布

小A__

最新推荐文章于 2024-06-21 02:08:11 发布

阅读量2.4k

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/xiaozelulu/article/details/82380071

版权

Spark 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

说明：Sort3File文件夹有三个txt文件，现在对里面的数字进行升序输出
工具：IDEA，Spark编写

object SortFile {
  def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setMaster("local").setAppName("sort");
        val sc  = new SparkContext(conf);
        val loadrdd = sc.textFile("file:///D:/测试数据/Sort3file")
        var index=0
        val vilload=loadrdd.filter(_.trim().length>0)
                           .map(x=>(x.trim.toInt,""))
                             .partitionBy(new HashPartitioner(1))
                               .sortByKey(true)
                               .map(x=>{index += 1;(index,x._1)})
                                                             //sortByKey(true)升序
       // vilload.collect().foreach(println(_))
        vilload.saveAsTextFile( "file:///D:/输出结果/OUTSort3File")
        Thread.sleep(10000000000L)
  }
}