Scala---wordCount案例的实现

wordCount

package com.doit.day03

import scala.io.{BufferedSource, Source}

object WordCountDemo {
  def main(args: Array[String]): Unit = {
    //读取文件，获取到一个Source对象
    val source: BufferedSource = Source.fromFile("D:\\develop\\ideaWorkSpace\\myself\\study\\scalaDemo\\data\\word.txt")
    //调用getLines方法，获取到每一行数据，每一行数据都放在迭代器中
    val lines: Iterator[String] = source.getLines()
    //如果我现在直接这么返回，他的返回值是什么？？   Iterator[String]  ==》 同样的返回一个迭代器，迭代器里面放得是Array[String] 数组里面每一个元素放得都是一个个的单词
    val arrWord: Iterator[Array[String]] = lines.map(line => {
      //1.需要将每一行数据拿出来进行切割，变成一个个的单词
      //hello   hadoop  hive
      val wordsArr: Array[String] = line.split("\\s+")
      wordsArr
    })
    //将迭代器转换成了集合
    val list: List[Array[String]] = arrWord.toList
    //将list中的array压平，这样list装的就是每一个单词了
    val word: List[String] = list.flatten
    //对每一个单词进行分组，相同的单词分在一组，key就是单词，value是一个list，所有相同的单词都放在这个list中
    val wordAndList: Map[String, List[String]] = word.groupBy(word => word)
    //转换，将list转换成长度，长度就是单词的个数
    val wordCount: Map[String, Int] = wordAndList.map(tup => (tup._1, tup._2.size))
    //查看结果
    println(wordCount)
  }
}