Spark Streaming实战：设置检查点，写一个wordcount程序并计数，计算端口号1235中的信息

最新推荐文章于 2023-12-01 09:51:16 发布

Movle

最新推荐文章于 2023-12-01 09:51:16 发布

阅读量261

点赞数

分类专栏： Spark实战

本文链接：https://blog.csdn.net/aflyingcat520/article/details/106220091

版权

Spark实战专栏收录该内容

20 篇文章 1 订阅

订阅专栏

本文介绍如何使用Spark Streaming创建一个实时单词计数程序，通过读取端口1235的数据流，实现单词频率的实时计算。文章详细展示了pom.xml依赖配置和MyTotalNetworkWordCount.scala代码实现，包括设置Spark环境、读取网络数据流、单词切分、映射、累加计算等关键步骤。

摘要由CSDN通过智能技术生成

1.需求：

用spark Streaming写一个wordcount程序，计算发往端口号1235中的信息(单词计数)

2.代码：

(1)pom.xml

    <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>2.1.0</version>

        </dependency>
    </dependencies>

(2)MyTotalNetworkWordCount.scala

package day1211

import org.apache.log4j.Logger
import org.apache.log4j.Level
import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Seconds
import org.apache.spark.storage.StorageLevel

object MyTotalNetworkWordCount {

  def main(args: Array[String]): Unit = {

    System.setProperty("hadoop.home.dir", "/Users/macbook/Documents/hadoop/hadoop-2.8.4")
    Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
    Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)

    val conf = new SparkConf().setMaster("local[2]").setAppName("MyTotalNetworkWordCount")

    val ssc = new StreamingContext(conf,Seconds(3))

    //设置检查点目录，保存之前的状态信息
    ssc.checkpoint("hdfs://192.168.1.121:9000/TestFile/chkp0826")

    val lines = ssc.socketTextStream("192.168.1.121", 1235, StorageLevel.MEMORY_ONLY)

    val words = lines.flatMap(_.split(" "))

    val wordPair = words.map((_,1))

    /**
     * 两个参数：
     * 第一个参数：当前的值是多少
     * 第二个参数：之前的结果是多少
     */
    val addFunc = (curreValues:Seq[Int],previousValues:Option[Int]) => {
      //进行累加运算
      // 1、把当前值的序列进行累加
      val currentTotal = curreValues.sum

      //2、在之前的值上再累加

      Some( currentTotal + previousValues.getOrElse(0) )

    }

    //进行累加运算
    val total = wordPair.updateStateByKey(addFunc)

    total.print()

    ssc.start()
    ssc.awaitTermination()

  }
}