Spark Streaming版WordCount实现

最新推荐文章于 2022-08-02 18:30:15 发布

永不落后于人

最新推荐文章于 2022-08-02 18:30:15 发布

阅读量574

点赞数

分类专栏： spark 文章标签： spark streaming

本文链接：https://blog.csdn.net/FlatTiger/article/details/115321384

版权

spark 专栏收录该内容

45 篇文章 6 订阅

订阅专栏

该博客介绍了如何使用Scala和Spark Streaming从指定端口读取数据，通过扁平化、结构转换和聚合操作处理数据流，并展示了如何设置Spark配置和启动流处理任务。最后，通过netcat工具进行了测试验证。

摘要由CSDN通过智能技术生成

导入依赖

<dependency>
	<groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.1.1</version>
</dependency>

代码实现

  def main(args: Array[String]): Unit = {
    //配置文件对象 SparkStreaming至少有两个线程，所以不能单指定local，必须指定核数
    val conf: SparkConf = new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("local[*]")
    //StreamingContext对象，程序入口，指定批次时间
    val ssc = new StreamingContext(conf,Seconds(3))
    //接收指定端口的数据，获取一行数据
    val DStream: ReceiverInputDStream[String] = ssc.socketTextStream("hadoop01", 11111)
    //扁平化
    val flatDStream: DStream[String] = DStream.flatMap(_.split(" "))
    //结构转换
    val mapDStream: DStream[(String, Int)] = flatDStream.map((_, 1))
    //聚合
    val resDStream: DStream[(String, Int)] = mapDStream.reduceByKey(_+_)
    //输出结果
    resDStream.print()

    //开启采集
    ssc.start()
    //等待采集结束后再关闭
    ssc.awaitTermination()
  }