spark: Spark streaming word count

最新推荐文章于 2024-08-25 23:50:29 发布

amadeus_liu2

最新推荐文章于 2024-08-25 23:50:29 发布

阅读量363

点赞数 7

分类专栏： spark 文章标签： spark 大数据分布式

本文链接：https://blog.csdn.net/amadeus_liu2/article/details/136317904

版权

spark 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

本文介绍了如何使用Scala编写一个SparkStreaming应用程序，从TCP端口9999接收数据，对接收到的文本进行单词计数，并打印结果。应用依赖于SparkCore、SparkSQL和SparkStreaming组件。

摘要由CSDN通过智能技术生成

通过TCP端口9999获取数据，并进行单词计数。
依赖：

ThisBuild / version := "0.1.0-SNAPSHOT"

ThisBuild / scalaVersion := "2.12.12"
libraryDependencies ++= Seq( "org.apache.spark" % "spark-core_2.12" % "3.0.0")
libraryDependencies ++= Seq( "org.apache.spark" % "spark-sql_2.12" % "3.0.0")
libraryDependencies ++= Seq( "org.apache.spark" % "spark-streaming_2.12" % "3.0.0")

libraryDependencies ++= Seq( "mysql" % "mysql-connector-java" % "5.1.30")


lazy val root = (project in file("."))
  .settings(
    name := "scala-proj"
  )

package example3

import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.{Duration, Seconds, StreamingContext}

object HelloStreaming01 {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    //5秒采集一次数据
    val ssc = new StreamingContext(sparkConf, Seconds(5))


    val line: ReceiverInputDStream[String] = ssc
      .socketTextStream("xx.xx.xx.xx", 9999)
    val words: DStream[String] = line.flatMap(_.split(" "))
    val wordTuple: DStream[(String, Int)] = words.map((_, 1))
    val result: DStream[(String, Int)] = wordTuple.reduceByKey(_ + _)
    result.print()
    ssc.start();
    ssc.awaitTermination();

  }

}

可使用nc来发送数据：