编写第一个Spark程序WordCount

最新推荐文章于 2020-11-19 23:42:10 发布

ysk_xh_521

最新推荐文章于 2020-11-19 23:42:10 发布

阅读量4.8k

点赞数

分类专栏：大数据文章标签： spark

本文链接：https://blog.csdn.net/ysk_xh_521/article/details/77722631

版权

大数据专栏收录该内容

4 篇文章 0 订阅

订阅专栏

这里使用IDEA创建项目，其次，在setting-plugins中查找并安装插件Scala

开始创建项目

这里写图片描述

配置sbt

name := "spark01"

version := "1.0"

scalaVersion := "2.11.7"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.0.2"
)

编写代码ObWorCount

import org.apache.spark.{SparkContext, SparkConf}

/**
  * Created by Y.S.K on 2017/8/30 in spark01.
  */
object WordCount {

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("wordcount")
    val sc = new SparkContext(conf)

    val input = sc.textFile("/home/briup/helloSpark.txt")

    val lines = input.flatMap(line => line.split(" "))
    val count = lines.map(word => (word, 1)).reduceByKey { case (x, y) => x + y }

    val output = count.saveAsTextle("/home/briup/he

lloSparkRes")
  }
}