Spark-Streaming概述|Streaming架构图|背压机制（反压机制）|WordCount案例实操|WordCount解析

最新推荐文章于 2024-07-02 09:25:27 发布

SmallScorpion

最新推荐文章于 2024-07-02 09:25:27 发布

阅读量350

点赞数

分类专栏： Spark模块化学习文章标签： spark

本文链接：https://blog.csdn.net/qq_40180229/article/details/105744947

版权

本文介绍了Spark Streaming的原理和特性，包括其作为微批次处理框架的性质、DStream的概念，以及如何通过背压机制动态调整数据接收速率以适应处理能力，避免资源浪费。还涉及了WordCount案例的操作流程。

摘要由CSDN通过智能技术生成

Spark-Streaming

1. Spark Streaming是用于流式数据处理的模块。
2. Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。
3. 数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数据库等。
4. 和Spark基于RDD的概念很相似，Spark Streaming使用离散化流(discretized stream)作为抽象表示，叫作DStream。DStream 是随时间推移而收到的数据的序列。在内部，每个时间区间收到的数据都作为RDD存在，而DStream是由这些RDD所组成的序列(因此得名“离散化”)。
5. 伪实时(并不是真正意义上得实时处理)
6. 微批次处理框架

在这里插入图片描述

Spark-Streaming架构

在这里插入图片描述

背压机制（反压机制）

Spark 1.5以前版本，用户如果要限制Receiver的数据接收速率，可以通过设置静态配制参数“spark.streaming.receiver.maxRate”的值来实现，此举虽然可以通过限制接收速率，来适配当前的处理能力，防止内存溢出，但也会引入其它问题。比如：producer数据生产高于maxRate，当前集群处理能力也高于maxRate，这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力，1.5版本开始Spark Streaming可以动态控制数据接收速率来适配集群数据处理能力。背压机制（即Spark Streaming Backpressure）: 根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率。

通过属性“spark.streaming.backpressure.enabled”来控制是否启用backpressure机制，默认值false，即不启用。

添加依赖

<dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.