大数据学习03 Spark入门项目 wordCount 不同的实现

2# 大数据学习03 Spark入门项目 wordCount 不同的实现

---

---

前言

简述02的学习内容

1.建立与Spark框架的连接

    val sparConf = new SparkConf().setMaster("local").setAppName("WordCount")
    val sc = new SparkContext(sparConf)

2.按行读取文件目录

val lines:RDD[String] = sc.textFile("data")

3.扁平化操作，将一行数据拆分形成一个一个的单词

val words:RDD[String] = lines.flatMap(_.split(" "))

4.单词分组

val wordToCount = wordGroup.map {
      case (word, list) => {
        (word, list.size)
      }
    }

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、聚合

第一种方法使用.size没有体现聚合的过程 本方法则是聚合的过程

二、代码实现

第二种方式实现wordCount代码

代码如下（示例）：

package com.test.bigdata.spark.core.wc

import org.apache.spark.rdd.RDD
import org.apache.spark