用scala实现spark版：单词统计案例

 首先吐槽一下csdn，目前不支持scala语言输入！！希望后续维护更新！

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

/**
  * Date:2019/4/24
  * Author:Lynn.cn.Li
  * Desc:学习scala语言开发实现spark版：词计数
  */
object WordCount {
  def main(args: Array[String]): Unit = {
    //创建SparkConf对象，这只appName和master地址
    val conf: SparkConf = new SparkConf().setAppName("LocalWordCount").setMaster("local[2]")

    // 2.创建SparkContext对象
    val context: SparkContext = new SparkContext(conf)

    // 3.读取数据文件

    val dataRDD: RDD[String] = context.textFile("g://input/1.txt")

    //4.切分文件中的每一行,返回文件所有单词
    val wordRDD: RDD[String] = dataRDD.flatMap(_.split(" "))

    // 5.每个单词计数为1：(单词，1)
    val wordAndOne: RDD[(String, Int)] = wordRDD.map((_,1))

    // 6.相同单词出现的次数累加
    val reslutRDD: RDD[(String, Int)] = wordAndOne.reduceByKey(_+_