Spark DStream之无状态操作实现WordCount

QYHuiiQ

已于 2022-11-24 20:13:02 修改

阅读量590

点赞数

分类专栏：大数据之Spark 文章标签： spark 大数据

于 2022-11-23 20:52:12 首次发布

本文链接：https://blog.csdn.net/qyhuiiq/article/details/128007340

版权

大数据之Spark 专栏收录该内容

19 篇文章 0 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

该博客介绍了如何使用Spark DStream实现无状态的WordCount程序。通过引入pom依赖，创建object，并启动程序与nc窗口交互，展示了DStream如何以2秒周期进行近实时、微批量的数据处理。

摘要由CSDN通过智能技术生成

引入pom依赖

<dependency>
     <groupId>org.apache.spark</groupId>
     <artifactId>spark-streaming_2.12</artifactId>
     <version>3.0.0</version>
</dependency>

新建object

package test.wyh.streaming

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object StreamingWordCount {

  def main(args: Array[String]): Unit = {
    //创建环境对象
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("StreamingWordCount")
    //配置采集周期
    val context = new StreamingContext(sparkConf, Seconds(2))
    //监听端口，获取到的是行数据
    val lines = context.socketTextStream("localhost", 9000)
    //分词

了解本专栏