spark实现WordCount(多种实现方式)

第一种方式:

文件内容:

object WordCount {
  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setMaster("local").setAppName("WordCount")

    /// 创建Spark上下文对象
    val sc = new SparkContext(conf)

    // 读取文件种的数据
    val textRDD: RDD[String] = sc.textFile("in")

    // 扁平化, 按照" "来切割
    val wordRDD: RDD[String] = textRDD.flatMap {
      case x => {
        x.split(" ")
      }
    }

    // 转换结构
    val mapRDD: RDD[(String, Int)] = wordRDD.map {
      case x => {
        (x, 1)
      }
    }

    val rdRDD: RDD[(String, Int)] = mapRDD.reduceByKey {
      case (x, y) => {
        x + y
      }
    }

    //收集遍历
    rdRDD.collect().foreach(println)
  }
}

输出:
(scala,4)
(spark,3)
(hadoop,1)
(python,1)
(hello,14)
(java,3)
(world,2)

第二种方式:

object WordCount {
  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setMaster("local").setAppName("WordCount")

    /// 创建Spark上下文对象
    val sc = new SparkContext(conf)

    // 读取文件种的数据
    val textRDD: RDD[String] = sc.textFile("in")

    // 扁平化, 按照" "来切割
    val wordRDD: RDD[String] = textRDD.flatMap {
      case x => {
        x.split(" ")
      }
    }
    // 转换结构
    val mapRDD: RDD[(String, Int)] = wordRDD.map {
      case x => {
        (x, 1)
      }
    }
    // 使用groupByKey方法
    val gBKRDD: RDD[(String, Iterable[Int])] = mapRDD.groupByKey()
    val mVRDD: RDD[(String, Int)] = gBKRDD.mapValues {
      case x => {
        x.sum
      }
    }
    mVRDD.collect().foreach(println)
  }
}

输出为:
(scala,4)
(spark,3)
(hadoop,1)
(python,1)
(hello,14)
(java,3)
(world,2)

第三种方式:

object WordCount {
  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setMaster("local").setAppName("WordCount")

    /// 创建Spark上下文对象
    val sc = new SparkContext(conf)

    // 读取文件种的数据
    val textRDD: RDD[String] = sc.textFile("in",2)

    // 扁平化, 按照" "来切割
    val wordRDD: RDD[String] = textRDD.flatMap {
      case x => {
        x.split(" ")
      }
    }

    // 转换结构
    val mapRDD: RDD[(String, Int)] = wordRDD.map {
      case x => {
        (x, 1)
      }
    }
    
    // 使用aggregateByKey方法
    val aggRDD: RDD[(String, Int)] = mapRDD.aggregateByKey(0)((x,y) => x+y, (x,y)=> x+y)
    aggRDD.collect().foreach(println)
     
  }
}

输出为:
(scala,4)
(python,1)
(hello,14)
(java,3)
(world,2)
(spark,3)
(hadoop,1)

第四种方式:

object WordCount {
  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setMaster("local").setAppName("WordCount")

    /// 创建Spark上下文对象
    val sc = new SparkContext(conf)

    // 读取文件种的数据
    val textRDD: RDD[String] = sc.textFile("in",2)

    // 扁平化, 按照" "来切割
    val wordRDD: RDD[String] = textRDD.flatMap {
      case x => {
        x.split(" ")
      }
    }

    // 转换结构
    val mapRDD: RDD[(String, Int)] = wordRDD.map {
      case x => {
        (x, 1)
      }
    }
    // 使用foldByKey方法 
    val foldRDD: RDD[(String, Int)] = mapRDD.foldByKey(0)((x,y) => x+y)
    // 收集遍历
    foldRDD.collect().foreach(println)
 }
}

输出为:
(scala,4)
(python,1)
(hello,14)
(java,3)
(world,2)
(spark,3)
(hadoop,1)

第五种方式:
第五种比较复杂, 我是因为练习combineByKey方法，才写了这个WordCount。其实可以不用combineByKey方法来写WordCount. 用上面四种方式就可以.

object WordCount {
  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setMaster("local").setAppName("WordCount")

    /// 创建Spark上下文对象
    val sc = new SparkContext(conf)

    // 读取文件种的数据
    val textRDD: RDD[String] = sc.textFile("in",2)

    // 扁平化, 按照" "来切割
    val wordRDD: RDD[String] = textRDD.flatMap {
      case x => {
        x.split(" ")
      }
    }

    // 转换结构
    val mapRDD: RDD[(String, Int)] = wordRDD.map {
      case x => {
        (x, 1)
      }
    }
    
    // 使用combinByKey方法
    val combinRDD: RDD[(String, (Int, Int))] = mapRDD.combineByKey((_, 1), (acc: (Int, Int), v) => (acc._1 + v, acc._2 + 1), (acc1: (Int, Int), acc2: (Int, Int)) => (acc1._1 + acc2._1, acc1._2 + acc2._2))

    // 使用mapValues方法
    val mvRDD: RDD[(String, Int)] = combinRDD.mapValues {
      case x => {
        x._1
      }
    }
    // 收集遍历
    combinRDD.collect().foreach(println)
    mvRDD.collect().foreach(println)
  }
}

输出为:

// (scala, (4,4))中的(4,4), 第一个4是表示所有的v值相加, 第二个4表示v值出现的次数
(scala,(4,4))
(python,(1,1))
(hello,(14,14))
(java,(3,3))
(world,(2,2))
(hadoop,(1,1))
(c,(3,3))

(scala,4)
(python,1)
(hello,14)
(java,3)
(world,2)
(hadoop,1)
(c,3)