spark词频统计

最新推荐文章于 2024-04-02 13:01:45 发布

Too~ young

最新推荐文章于 2024-04-02 13:01:45 发布

阅读量914

点赞数

分类专栏： scala

本文链接：https://blog.csdn.net/qq_42774323/article/details/102667301

版权

scala 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

直接上代码：show you the codes

单词个数统计，首先将以行语句切分为每个单词，并标记为1，然后这个单词进行统计累加，最后算出每个单词的个数

3.2 编辑上面创建的对象“SparkWordCountTest”，然后编辑内容如下

    import org.apache.spark.SparkConf        
    import org.apache.spark.SparkContext        

    object SparkWordCountTest {        

      def main(args: Array[String]) {        
        val conf = new SparkConf().setAppName("WordCount").setMaster("local[4]")        
        val sc = new SparkContext(conf)        

        val lines = sc.textFile("filePath", 1)        
        val words = lines.flatMap { line => line.split(" ") }        
        val pairs = words.map { word => (word, 1) }        
        val wordCounts = pairs.reduceByKey { _ + _ }        

       wordCounts.foreach(wordCount => println(wordCount._1 + "---->" + wordCount._2))        

      }        

    }