Spark Streaming中的基本抽象DStream

最新推荐文章于 2024-02-01 09:50:33 发布
最新推荐文章于 2024-02-01 09:50:33 发布
阅读量917 收藏
点赞数
分类专栏： 大数据 Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ys_230014/article/details/83576907
版权

DStream是Spark Streaming提供的基本抽象，它表示连续的数据流，可以是从源接收的输入数据流，也可以是通过转换输入流生成的已处理数据流。在内部，DStream由一系列连续的RDD表示，这是Spark对不可变分布式数据集的抽象，DStream中的每个RDD都包含来自特定时间间隔的数据，对DStream进行操作就是对RDD进行操作，如下图所示

举个例子来说明一下，就拿前面一直在用的经典案例wordcount吧，在Spark Streaming中进行wordcount操作时，是通过DStream进行的，每个一定时间产生一个小的批次，这个批次结束了之后DStream并不会结束，而是一直存在的，直到下一个批次产生，一直如此，一个DStream中对应的是一连串的RDD，例如在t1时间内切分压平，与1生成元组，聚合等DStream，都会产生一个RDD，这一连串的RDD，实际上就是一个小的DAG(有向无环图，小DAG是因为DAG中对应的数据少)，小的DAG触发了Action，提交到集群上，t1，t2.....时间点内都是这样运作的，只是RDD中的数据不一样而已，所以一个DStream中就有了多个RDD，每隔一个时间就会生成一个RDD，DStream和DStream之间存在依赖关系，在一个时间点内，存在依赖关系的DStream对应的RDD之间也存在依赖关系

ysjh0014
关注
专栏目录
大数据Spark（三十五）：SparkStreaming数据抽象 DStream
Lansonli（蓝深李）的博客
04-21 1053
DStream内部是由一系列连续的RDD组成的，每个RDD都包含了特定时间间隔内的一批数据，DStream中每批次数据RDD在处理时，各个RDD之间存在依赖关系，DStream直接也有依赖关系，RDD具有容错性，那么DStream也具有容错性。通过WEB UI界面可知，对DStream调用函数操作，底层就是对RDD进行操作，发现很多时候DStream中函数与RDD中函数一样的。通过RDD-to-RDD函数作用于DStream中的各个RDD，可以是任意的操作，从而返回一个新的RDD。
Spark Streaming的DStream与窗口操作
晓晓的天空
01-04 1617
DStream是Spark Streaming的核心抽象，它代表了连续的数据流，可以从各种数据源创建，如Kafka、Flume、Socket等。DStream可以看作是一个高级别的抽象，它将实时数据流划分为一系列小的批次（micro-batch），每个批次包含一段时间内的数据。DStream上可以应用各种转换操作，以进行实时数据处理。窗口操作是Spark Streaming的一个重要特性，它能够对实时数据流中的数据进行时间窗口内的处理和分析。
Spark Streaming的基础抽象DStream
Running_Tiger的博客
03-11 1238
Spark Streaming的基础抽象DStreamDStream概念 Discretized Stream是Spark Streaming的基础抽象，代表持续性的数据流和经过各种Spark算子操作后的结果数据流。在内部实现上，DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据，如下图：对数据的操作也是按照RDD为单位来进行的Spark Streaming使用数据源产生
SparkStreaming的数据抽象 DStream
dingqiu6346的博客
09-11 720
数据抽象 Spark Streaming的基础抽是DStream(Discretized Stream，离散化数据流，连续不断的数据流)，代表持续性的数据流和经过各种Spark算子操作后的结果数据流 1.DStream本质上就是一系列时间上连续的RDD 2.对DStream的数据的进行RDD操作 3.容错性 底层RDD之间存在依赖关系，...
什么是DStream, 什么是Spark Streaming基础抽象 29
啊策策大数据社区
10-09 1805
什么是DStream Discretized Stream(离散型数据流)是Spark Streaming的基础抽象, 代表持续性的数据流和经过各种Spark算子操作后的结果数据流. 在内部实现实现上, DStream是一系列连续的RDD来表示, 每个RDD含有一段时间间隔内的数据(相对于一个算子不同时间段的数据). 对数据的操作也是按照RDD为单位来进行的 Spark Streaming使...
SparkStreaming---DStream
最新发布
weixin_47109902的博客
02-01 1177
用户自定义数据源需要继承 Receiver，并实现 onStart、onStop 方法来自定义数据源采集。//最初启动的时候，调用该方法，读数据并将数据发送给 Sparkreceive()}.start()///读数据并将数据发送给 Spark//创建Socket//创建变量用于接收端口穿过来的数据//创建BufferedReader用于读取端口传来的数据//读取数据//当 receiver 没有关闭并且输入数据不为空while(!= null){//循环发送数据给 Spark。
DStream----Spark Streaming操作
梵天的读书笔记
03-19 338
DStream 是随时间推移而收到的数据的序列。每个时间区间收到的数据都作为 RDD 存在，而 DStream 是由这些 RDD 所组成的序列（因此得名“离散化”）。 DStream 可以从各种输入源创建，比如 Flume、 Kafka 或者 HDFS。创建出来的 DStream 支持两种操作，一种是转化操作（ transformation），会生成一个新的DStream，另一种是输出操作（ ou...
SparkStreaming之DStream
zp17834994071的博客
09-04 599
离散流或 DStream 是 Spark Streaming 提供的高级别抽象。它表示连续的数据流，可以是从源接收到的输入数据流，也可以是通过转换输入流生成的经过处理的数据流。 在内部，DStream 由一系列连续的 RDDs 表示，RDDs 是 Spark 对不可变的分布式数据集的抽象。DStream 中的每个 RDD 包含来自某个间隔（batch interval）的数据，如下图所示： 应用于DStream上的任何操作都转换为底层RDDs上的操作。 Input DStreams 与 Receivers
【spark】spark streaming介绍 包括Dstream介绍 及Dstream实战
废物点心的博客
04-29 1140
文章目录Spark Streaming概述Spark Streaming特性Spark Streaming原理介绍DstreamDStream相关操作transformationOutput OperationsDStream操作实战一、 SparkStreaming接受socket数据，实现单词计数WordCount二、SparkStreaming接受socket数据，实现所有批次单词计数结果累...
【SparkStreaming篇01】SparkStreaming之Dstream入门1
08-04
SparkStreaming之Dstream入门 Spark Streaming是Apache Spark中的一个组件，用于处理流式数据。它可以从多种数据源中接收数据，如Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等，并使用Spark的高度抽象原语如...
Spark综合学习笔记（六）SparkStreaming数据抽象-DStream
斯特凡今天也很帅的博客
11-18 1731
学习致谢： https://www.bilibili.com/video/BV1Xz4y1m7cv?p=40 DStream是什么 DStream的本质 DStream(Discretized Stream)是Spark Streaming提供的基本数据抽象。它表示一个连续的数据流，可以是从源接收到的输入数据流，也可以是通过转换输入流生成的已处理数据流。 DStream由一系列连续的RDD表示，每个RDD都包含来自特定间隔的数据，如下图所示。SparkStreaming对流数据按照秒/分等时间间隔进行微批划
Spark大数据-Dstream概述
chenbengang的博客
12-16 338
Dstream概述 工作机制 输入数据流的input Dstream和receiver挂接起来。 1.创建输入Dstream定义输入源，文件流，kafka，rdd队列流。 2.转换和输出操作定义流计算过程。 3.StreamingContext.start()、awaitTermination()等待处理结束(发生错误结束)、stop()手动结束。 // 创建StreamingContext...
Spark十五 Spark Streaming之架构和抽象，24/7不间断运行，性能考量
ThisIsNobody的博客
07-07 911
Spark Streaming使用离散化流(discretized stream)DStream作为抽象表示1) DStream是随时间推移而受到的RDD的序列，输入源可以是Flume，Kafka，或HDFS2) DStream支持两种操作        > 转化操作：生成新的DStream        > 输出操作：把数据写入外部系统3) 检查点机制实现不间断工作1 架构和抽象1)...
[Spark、hadoop]spark Streaming的核心DStream
m0_57781407的博客
10-03 2305
1.SparkStreaming提供了一个高级抽象的流，即DStream(离散流)。 2.DStream的内部结构是由一系列连续的RDD组成，每个RDD都是一小段由时间分隔开来的数据集。
Spark2.1.0入门：DStream转换操作
xiaomin1991222的专栏
06-05 199
DStream转换操作包括无状态转换和有状态转换。 无状态转换：每个批次的处理不依赖于之前批次的数据。 有状态转换：当前批次的处理需要使用之前批次的数据或者中间结果。有状态转换包括基于滑动窗口的转换和追踪状态变化的转换(updateStateByKey)。 DStream无状态转换操作 下面给出一些无状态转换操作的含义： * map(func) ：对源DStream的每个元素，采用func函...
Spark Streaming的核心DStream案例
Above the cloud
02-09 441
1、transform()方法 2、updateStateByKey()方法 3、window()方法 4、reduceByKeyAndWindow()方法 5、SaveAsTextFilesTest()方法
spark streaming programming guide 基础概念之初始化Discretized Streams(DStream)(三c)
newchitu的博客
10-12 405
原文网站： http://spark.apache.org/docs/latest/streaming-programming-guide.html 本篇译文链接： http://spark.apache.org/docs/latest/streaming-programming-guide.html#discretized-streams-dstreams
大数据之SparkDStream 创建 完整使用 (第十三章)
小坏说后端
07-19 589
需要继承Receiver，并实现onStart、onStop方法来自定义数据源采集。*DStream创建*自定义数据采集器Unit={
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值