Spark学习笔记：DStream基本工作原理

最新推荐文章于 2024-08-16 09:21:03 发布
最新推荐文章于 2024-08-16 09:21:03 发布
阅读量2.7k 收藏 6
点赞数
分类专栏： Spark Spark Streaming 文章标签： Spark Spark Streaming
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lrxcmwy2/article/details/82698089
版权
本文介绍了Spark Streaming中的DStream，这是一种高级抽象，代表持续的数据流。DStream由连续的RDD组成，算子操作会转化为对每个RDD的操作。文章还提到了Spark Streaming的编程步骤，包括创建DStream，应用算子，以及存储结果。此外，批处理时间间隔在Spark Streaming中起关键作用，数据按设定的时间间隔进行批量处理。
摘要由CSDN通过智能技术生成

DStream基本工作原理

DStream是Spark Streaming提供的一种高级抽象，英文全称为Discretized Stream，中文翻译为离散流，它代表了一个持续不断的数据流。DStream可以通过输入数据源（比如从Flume、Kafka中）来创建，也可以通过对其他DStream应用高阶函数（map，flatmap）来创建。

在内部实现上，DStream由一组时间序列上连续的RDD来表示，RDD是Spark Core的核心抽象，即不可变的、分布式的数据集，DStream中的每个RDD都包含了一个时间段内的数据

对DStream应用的算子，在底层会被转换为对DStream中每个RDD的操作
底层原理为，对DStream中每个时间段的RDD都应用一遍算子操作，然后生成新的RDD，即作为新的DStream中的那个时间段的RDD

经过一系列算子操作之后，最终可以将实时计算的结果存储到相关介质中，如Redis、HBase、MySQL。

根据这个流程也可以得出Spark Streaming编程的步骤：

1.创建输入的数据流DStream
2.对DStream进行各种算子操作，得到新的DStream
3.将处理完的结果存储到存储介质中

批处理时间间隔

Spark Streaming中，数据采集是逐条进行的，而数据处理是按批进行的
Spark Streaming中会先设置好批处理的时间间隔。当达到批处理时间间隔的时候就会把采集到的数据汇总起来成为一批数据交给系统去处理

 

 

最低0.47元/天 解锁文章
SetsunaMeow
关注
专栏目录
Spark Streaming工作原理分析与使用
阿华田的博客
06-29 914
Spark Streaming入门 1.概述 Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理。 spark streaming提供是一种分布式计算能力。 数据来源 数据可以通过多种数据源获取, 例如 Kafka, Flume以及 TCP sockets, 也可以通过例如 map, reduce, join,...
spark学习笔记：DStream介绍
黄道婆的专栏
12-18 1298
DStream 3.1 什么是DStream Discretized Stream是Spark Streaming的基础抽象，代表持续性的数据流和经过各种Spark算子操作后的结果数据流。在内部实现上，DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据，如下图： 对数据的操作也是按照RDD为单位来进行的 Spark Streaming使用数据源产生的数据流创建DStream，也可以在已有的DStream上使用一些操作来创建新的DStream。 它的工作流程像下面的.
Spark Streaming的基础抽象DStream
Running_Tiger的博客
03-11 1253
Spark Streaming的基础抽象DStreamDStream概念 Discretized Stream是Spark Streaming的基础抽象，代表持续性的数据流和经过各种Spark算子操作后的结果数据流。在内部实现上，DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据，如下图：对数据的操作也是按照RDD为单位来进行的Spark Streaming使用数据源产生
SparkStreaming
最新发布
m0_73745224的博客
08-16 1166
需要继承Receiver，并实现onStart、onStop方法来自定义数据源采集。
一、spark streaming
u011500419的专栏
06-13 255
Spark Streaming是Spark Core API的一种扩展，它可以用于进行大规模、高吞吐量、容错的实时数据流的处理。它支持从很多种数据源中读取数据，比如Kafka、Flume、Twitter、ZeroMQ、Kinesis或者是TCP Socket。并且能够使用类似高阶函数的复杂算法来进行数据处理，比如map、reduce、join和window。处理后的数据可以被保存到文件系统、数...
Spark_SparkStreaming中DStream介绍以及入门操作
weixin_44449054的博客
03-04 790
标题DStream的介绍1.DStream简介2.DStream相关操作2.1 Transformations on DStreams2.2 Output Operations on DStreams3.DStream入门操作 DStream的介绍 1.DStream简介 Discretized Stream是Spark Streaming的基础抽象，代表持续性的数据流和经过各种Spark算子操作后的结果数据流。在内部实现上，DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据
Spark Streaming 中的DStream
Code_LT的博客
02-19 669
Discretized Stream 也叫 DStream) 是 Spark Streaming 对于持续数据流的一种基本抽象，在内部实现上，DStream 会被表示成一系列连续的 RDD(弹性分布式数据集)，每一个 RDD 都代表一定时间间隔内到达的数据。(并不是说DStream的元素是RDD，而是表现和方法都和RDD类似，DStream可以说约等于RDD，因此在操作中，很多人都把DStream...
Spark学习笔记：DStream的transformation操作概览
lrxcmwy2的博客
09-16 794
DStream的transformation操作概览 一.Spark Streaming开发步骤 创建输入DStream，如将Flume、Kafka、HDFS和Socket等作为数据源 对输入DStream进行转换操作 对转换后的DStream进行输出操作，比如存储到DBMS中 二.DStream分类 Input DStream，是最原始最初的DStream，它是依据不同的数据源创建的，...
spark:spark学习笔记
05-26
【Spark：Spark学习笔记】 Spark，作为大数据处理领域的重要框架，以其高效、易用和弹性伸缩性赢得了广泛赞誉。本笔记将从基础概念出发，深入探讨Spark的核心特性，包括RDD（Resilient Distributed Datasets）、...
spark学习笔记：Spark Streaming介绍
黄道婆的专栏
12-18 385
Spark Streaming介绍 1.1 Spark Streaming概述 1.1.1什么是Spark Streaming Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据源有很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象操作如：map、reduce、join、w.
2.Spark Streaming：基本工作原理
认知 行动 坚持
11-14 1026
Spark Streaming简介 Spark Streaming是Spark Core API的一种扩展，它可以用于进行大规模、高吞吐量、容错的实时数据流的处理。它支持从很多种数据源中读取数据，比如Kafka、Flume、Twitter、ZeroMQ、Kinesis或者是TCP Socket。并且能够使用类似高阶函数的复杂算法来进行数据处理，比如map、reduce、join和window。处
Spark Streaming
weixin_30533797的博客
04-28 72
Spark Streaming Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、j...
大数据Spark DStream
赵广陆
08-26 630
目录1 DStream 是什么2 DStream Operations2.1 函数概述2.2 转换函数：transform2.3 输出函数：foreachRDD3 流式应用状态 1 DStream 是什么 SparkStreaming模块将流式数据封装的数据结构：DStream（Discretized Stream，离散化数据流，连续不断的数据流），代表持续性的数据流和经过各种Spark算子操作后的结果数据流。离散数据流（DStream）是Spark Streaming最基本的抽象。它代表了一种连续的数据
SparkStreaming---DStream
weixin_47109902的博客
02-01 1208
用户自定义数据源需要继承 Receiver，并实现 onStart、onStop 方法来自定义数据源采集。//最初启动的时候，调用该方法，读数据并将数据发送给 Sparkreceive()}.start()///读数据并将数据发送给 Spark//创建Socket//创建变量用于接收端口穿过来的数据//创建BufferedReader用于读取端口传来的数据//读取数据//当 receiver 没有关闭并且输入数据不为空while(!= null){//循环发送数据给 Spark。
[spark streaming] DStream 和 DStreamGraph 解析
UFO的博客
11-30 641
Spark Streaming 是基于Spark Core将流式计算分解成一系列的小批处理任务来执行。在Spark Streaming里，总体负责任务的动态调度是JobScheduler，而JobScheduler有两个很重要的成员：JobGenerator 和 ReceiverTracker。JobGene
SparkStreaming运行原理及简介
justlpf的专栏
07-21 669
参考文章：Spark 以及 spark streaming 核心原理及实践 1. Spark Streaming运行原理 spark程序是使用一个spark应用实例一次性对一批历史数据进行处理，spark streaming是将持续不断输入的数据流转换成多个batch分片，使用一批spark应用实例进行处理。 从原理上看，把传统的spark批处理程序变成streaming程序，spark需要构建什么？ 需要构建4个东西： 一个静态的 RDD DAG 的模板，来表示处理逻辑；
【Spark Streaming】（一）架构及工作原理
云祁QI
03-23 3348
文章目录一、简介二、流处理架构三、Micro-Batch Architecture四、工作原理4.1 Streaming Context4.2 DStream4.3 Input DStreams & Receivers五、DStream 操作六、Spark Streaming 架构七、Spark Streaming 能做什么 一、简介 Spark Streaming 是一个对实时数据流进行...
SparkStreaming使用之DStream
weixin_44563670的博客
02-07 270
SparkStreaming使用之DStream 文章目录SparkStreaming使用之DStream前言一、SparkStreaming是什么？二、DStream是什么？ 前言 概念： 实时数据处理 和 离线数据处理的区别： 在于数据处理延迟的长短：实时是毫秒级别，离线数据处理则是小时或者天 批量数据处理与流式处理方式的区别： 侧重点在于 ：数据的处理方式，批量则是一批次处理，流式则是来一个处理一个 一、SparkStreaming是什么？ SparkStreaming 是Spark 中用于处理实时计
Apache Spark之DStream算子(章节五)
麦田里的守望者-蒋中洲【相信相信的力量】
04-25 765
DStreams 转换算子 与RDD类似，转换允许修改来自输入DStream的数据。 DStreams支持普通Spark RDD上可用的许多转换。一些常见的如下。 Transformation Meaning map(func) Return a new DStream by passing each element of the source DStream through a ...
SparkStreaming入门：DStream的易用特性与容错设计
对于实际操作，例如使用netcat工具向9999端口持续发送数据，然后通过Spark Streaming读取并统计不同单词的出现次数，开发人员需要在Maven项目中添加相应的依赖，如`org.apache.spark:spark-streaming_2.11`。...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值