Spark学习笔记 --- scala实现Spark wordcount例子

最新推荐文章于 2022-08-05 15:27:50 发布

杨鑫newlfe

最新推荐文章于 2022-08-05 15:27:50 发布

阅读量1.6k

点赞数

分类专栏：大数据挖掘与大数据应用案例 Scala Object-Oriented Programming

本文链接：https://blog.csdn.net/u012965373/article/details/60782851

版权

大数据挖掘与大数据应用案例同时被 3 个专栏收录

536 篇文章 1680 订阅 ¥9.90 ¥99.00

订阅专栏

Object-Oriented Programming

114 篇文章 1 订阅

订阅专栏

Scala

108 篇文章 5 订阅

订阅专栏

本文档记录了使用Scala编写的Spark WordCount程序。通过创建SparkConf，设置应用名和Master，读取文本文件，分割单词，进行reduceByKey操作来统计每个单词出现的次数，并打印结果。

摘要由CSDN通过智能技术生成

package wordcount.WordCount
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

/**
  * Created by Ryan on 2017/3/7.
  */
object scala {
  def main(args: Array[String]) : Unit = {
    val conf = new SparkConf()
    conf.setAppName("WordCountApplication")
    conf.setMaster("local")
    val sc = new SparkContext(conf)
    val lines = sc.textFile("/usr/softwares/spark/ReadMe.md", 3)
    val words = lines.flatMap{line => line.split(" ")}
    val pairs = words.map(words => (words, 1))
    val wordCounts = pairs.reduceByKey(_+_)
    wordCounts.foreach(wordNumberPair => println(wordNumberPair._1 + " : " + wordNumberPair._2))
    sc.stop()
  }
}