spark：学习杂记--23

最新推荐文章于 2023-02-13 23:17:08 发布

一流小风一

最新推荐文章于 2023-02-13 23:17:08 发布

阅读量464

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/fenger1943/article/details/44966873

版权

这篇博客主要记录了关于Spark的学习心得，涉及到ID排序的相关内容。通过ID1至ID4的例子，阐述了如何对数据进行排序处理，是理解Spark数据操作的一个实践应用。

摘要由CSDN通过智能技术生成

ID1 sendoh akria

ID2 ximen luxiaofeng

ID3 sendoh ximen

ID4 yegucheng shedoh

根据关键字从新排序：

package fff

import org.apache.log4j.{Level, Logger}
import org.apache.spark.{SparkContext, SparkConf}

import scala.collection.mutable
import scala.collection.mutable.ListBuffer

/**
 * Created by sendoh on 2015/4/9.
 */
object InvertedIndex {
  def main(args: Array[String]): Unit ={
    //
    Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
    Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)
    //
    if(args.length != 3){
      println("Usage: java -jar code.jar dependency_jars file_locaion save_location")
      System.exit(0)
    }
    val jars = ListBuffer[String]()
    args(0).split(',').map(jars += _)
    val conf = new SparkConf().setAppName("InvertedIndex").setSparkHome("/usr/local/spark-1.2.0-bin-hadoop2.4&#