Spark Streaming揭秘 Day8 RDD生命周期研究

最新推荐文章于 2024-10-17 15:34:15 发布
最新推荐文章于 2024-10-17 15:34:15 发布
阅读量66 收藏
点赞数
文章标签： 大数据
原文链接：http://www.cnblogs.com/dt-zhw/p/5495141.html
版权

Spark Streaming揭秘 Day8

RDD生命周期研究

今天让我们进一步深入SparkStreaming中RDD的运行机制。从完整的生命周期角度来说，有三个问题是需要解决的：

  • RDD到底是怎么生成的
  • 具体执行的时候和Spark Core上的执行有所不同
  • 运行之后对RDD如何处理，怎么对已有的RDD进行管理

今天主要聚焦于第一个问题。

从DStream开始

DStream类的注释很明确的说明了，DStream中包含以下内容：

  • DStream依赖的其他DStream(第一个DStream是外部数据源产生)
  • DStream产生RDD的时间间隔
  • 产生RDD所使用到的方法*

可以看到，这里很明确说明了RDD的生成是在DStream中触发的。

关键方法

通过上一课的分析，我们可以知道JobScheduler是通过generateJob这个方法来与DStream交互的。

Snip20160515_23

其中的关键是getOrCompute方法，再进一步分析此方法

Snip20160515_24

其中调用了compute方法，而注释中也说明了，每个DStream都会通过compute方法生成RDD!!!

compute会由各个子类来进行实现，我们找一个常用的MappedDStream看一下。
Snip20160515_21

通过这个代码，我们可以发现两点：

  • compute方法中实现了map这个方法的业务逻辑
  • compute方法会调用parent的getOrCompute

这说明了，RDD从后往前依赖，可以进行回溯，这也解释了为什么在JobScheduler中仅仅是对outputStream进行处理的原因。

RDD生成的完整过程

下面引用一张图将上面的说明进行一下串联：
DStrea

在各个DStream中，都实现了getOrCompute方法，在数据未缓存的情况下，会调用compute方法向上追溯到DStream的源头，并将结果逐层向下传递，从而实现了完整的业务处理。

小结

我们会发现，对DStream的所有操作，其实都是作用在RDD上的Transformation操作，只是要加上一个时间维度。统一通过outputStreams的generateJob方法来触发实际的action调用，而处理逻辑和依赖关系，都封装在了DStream内部实现，充分体现了模块的自治性，非常值得借鉴。

欲知后事如何，且听下回分解

DT大数据每天晚上20：00YY频道现场授课频道68917580

转载于:https://www.cnblogs.com/dt-zhw/p/5495141.html

weixin_34415923
关注
SparkStreaming的数据治理与数据治理平台的跨界合作
AI天才研究院
06-04 354
SparkStreaming的数据治理与数据治理平台的跨界合作 1.背景介绍 1.1 大数据时代的数据治理挑战 在大数据时代,企业面临着海量、高速、多样化的数据,传统的数据治理方式已经难以应对。数据的质
2021-03-01 大数据课程笔记 day40
qq_44745905的博客
03-01 334
@R星校长 Spark优化【Spark优化内容】 主要内容 Spark资源优化 Spark并行度优化 Spark代码优化 内存调优 Sparkshuffle优化 堆外内存优化 解决数据倾斜 第一节 资源优化   1) .搭建Spark集群的时候要给Spark集群足够的资源（core，memory）   在spark安装包的conf下spark-env.sh    SPARK_WORKER_CORES    SPARK_WORKER_MEMORY    SPARK_WORKER_INSTANCE   2.
Spark Streaming揭秘 Day16 数据清理机制
weixin_34216196的博客
05-27 96
Spark Streaming揭秘 Day16 数据清理机制 今天主要来讲下Spark的数据清理机制，我们都知道，Spark是运行在jvm上的，虽然jvm本身就有对象的自动回收工作，但是，如果自己不进行管理的，由于运行过程中大量产生对象，内存很快就会耗尽。我们可以认为数据清理就是SparkStreaming自己的"GC"。 从DStream开始 RDD是在DStream中产生的，RDD的操作也是在...
Spark Streaming揭秘 Day19 架构设计和运行机制
weixin_34120274的博客
06-03 63
Spark Streaming揭秘 Day19 架构设计和运行机制 今天主要讨论一些SparkStreaming设计的关键点，也算做个小结。 DStream设计 首先我们可以进行一个简单的理解：DStream就是加上时间维度的RDD。RDD的模板是DStream,DAG的模板是DStreamGraph，RDD的依赖关系就是DStream的依赖关系。 但是，从DStream的设计来看，我们会发现，D...
大数据Spark实战第四集 spark优化和使用 Spark Streaming
fegus的博客
04-30 1436
Tungten 和 Hydrogen：Spark 性能提升与优化计划 在前面的课时中，我们学习了 Spark 的用法和原理，今天这个课时主要介绍 Spark 两个比较重要的优化提升项目，从这两个项目中可以看出 Spark 的优化思路。 这节课与前面的课时有所不同，主要介绍一些比较细的优化思路，其中很多也与开发数据库的思路不谋而合，你可以换换脑筋，无法完全理解也没关系，可以作为阅读一些论文、参与开源社区讨论的基础。 Tungsten 项目 Tungsten 项目产生的原因是由于固态硬盘和万兆交换机的普及和应用
Day71_Spark-streaming(一）
qq_36972345的博客
10-26 284
SparkStreaming基础架构 课程大纲 课程内容 学习效果 掌握目标 SparkStreaming简介 流式计算 了解 SparkStreaming简介 SparkStreaming API 整合Kafka 掌握
Spark Streaming揭秘 Day9 从Receiver的设计到Spark框架的扩展
weixin_34162695的博客
05-15 67
Spark Streaming揭秘 Day9 从Receiver的设计到Spark框架的扩展 Receiver是SparkStreaming的输入数据来源，从对Receiver整个生命周期的设计，我们可以充分领略到Spark框架设计之巧妙，废话少说，让我们来看代码。 解决的问题 在开始之前，让我们先明确一个概念，就是Receiver于inputDStream之间的关系，从如下代码中，我们可以看到，...
第六天 -- Kafka API -- Spark Streaming -- DStream
cry970795248的博客
11-27 823
第六天 – Kafka API – Spark Streaming – DStream 文章目录第六天 -- Kafka API -- Spark Streaming -- DStream一、Kafka API生产者消费者自定义分区器二、Kafka文件存储机制Kafka文件存储基本结构Kafka partition segmentKafka查找message三、Spark Streaming介绍s...
Spark-RDD高级算子
weixin_30257433的博客
05-01 507
Spark课堂笔记 Spark生态圈：Spark Core ： RDD（弹性分布式数据集）Spark SQLSpark StreamingSpark MLLib：协同过滤，ALS，逻辑回归等等 --> 机器学习Spark Graphx ： 图计算 重点在前三章 -----------------Spark Core------------------------一、什么是Spark...
SparkStreaming总结下
大数据小生的博客
08-29 7438
一、spark直连方式和Receiver方式比较 consumer 传统的消息者（老的方式）需要连接ZK，新的方式（高效的方式）不需要连接ZK，但是要自己维护偏移量 consumer group 一个消费者组下可以有多个消费者，不重复消息   DStream离散的数据流，是SparkStreaming中一个最基本的抽象，DStream中不存放数据，也可以认为是一个分布式的数
Spark(一)：基础简介安装和入门
m0_59737088的博客
08-04 287
Spark 基础 一、Spark的介绍 1.定义 Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。 2.Spark VS MapReduce Spark的诞生仅仅是为了替换早期的Hadoop的MapReduce计算引擎。Spark并没有存储解决方案，在Spark的架构中，底层存储方案依然延续Hadooop的HDFS/Hbase.由于Hadoop的MapReduce是大数据时代出现的第一类大数据分析工具，因为出现比较早仅仅为了满足大数据计算的刚性需求（能够做到对大数据的计算，并且可以保证在一
spark入门到精通
laogong的博客
01-08 1083
1、idea搭建spark开发环境 1）安装jdk 2）安装Scala 3）安装maven 其中pom文件中<scala.version>2.11.0</scala.version>必须设置为项目的scala环境。spark的依赖后缀必须也是也跟这里的scala版本一样 2、对于spark object类型的类，直接拿来用就好了，不用new ...
2021-03-08~09~10~11~12 大数据课程笔记 day47day48day49day50day51
qq_44745905的博客
03-12 1141
@R星校长 大数据技术之Flink 第一章 初识Flink   在当前数据量激增的时代，各种业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效的处理，成为当下大多数公司所面临的问题。目前比较流行的大数据处理引擎Apache Spark，基本上已经取代了MapReduce成为当前大数据处理的标准。但对实时数据处理来说，Apache Spark的Spark-Streaming还有性能改进的空间。对于Spark-Streaming的流计算本质上还是批（微批）计算，Apache Flink.
020 elasticsearch7.10.2 elasticsearch-head kibana安装
m0_46695127的博客
10-13 807
020 elasticsearch7.10.2 elasticsearch-head kibana安装
大数据存储计算平台EasyMR：大数据集群动态扩缩容，快速提升集群服务能力
最新发布
a958014226的博客
10-17 252
同时，提高集群的整体性能和稳定性，快速实现集群服务能力提升，提高资源利用率和系统性能，助力企业在数据储存和管理方面实现质的飞跃。在 EsayMR 实例管理页面，选中要退服的节点，在更多下拉菜单中，选中退服按钮，并进行退服的操作。在 EsayMR 实例管理页面，选中当前是已经退服状态的节点，在更多下拉菜单中，选中入服按钮，并进行入服的操作。动态扩缩容功能是集群管理中非常关键的一部分，能够根据工作负载的变化自动调整应用程序的副本数，以确保资源的高效利用和服务的稳定性。
【工具变量】上市公司企业大数据应用数据、大数据应用指数（2001-2023年）
T0620514的博客
10-17 151
参考顶刊《经济研究》张叶青（2021）老师的做法，本文利用关键词在公司年报中出现的次数来度量公司的大数据应用程度。表 1 展示了本文构造变量所依据的“大数据”相关关键词，并详细阐释各个关键词的定义及其与大数据应用之间的紧密关联。本文将最核心的大数据应用的衡量指标( lnBigdata) 具体定义为: 公司年报中提及表 1 中大数据相关关键词的次数加一后取对数。张叶青,陆瑶,李乐芸.大数据应用对中国企业市场价值的影响——来自中国上市公司年报文本分析的证据[J].经济研究,2021,56(12):42-59。
第十二章 RabbitMQ之失败消息处理策略
Calvin的博客
10-11 1405
Spring AMQP提供了消费者失败重试机制，在消费者出现异常时利用本地重试，而不是无限地requeue到mq。我们可以定义一个异常队列和交换机，来接收其他交换机队列转发的无法处理的异常消息。然后我们可以查看其中的异常消息并进行人工处理。重试耗尽后，直接reject，丢弃消息（默认方式）重试耗尽后，将失败消息投递到指定的交换机（推荐）2. 定义接收失败消息的交换机、队列及其绑定关系。重试耗尽后，返回nack，消息重新入队。在实际项目的生产环境中，通过。
Flink系统架构和应用部署方式
MCC_MCC_MCC的博客
10-14 1104
Flink系统架构包括JobManager、TaskManager、算子、Task和Subtask介绍。同时还介绍了Flink的三种应用部署方式，包括Flink Session模式、Flink Job模式和Flink Application模式。
SparkSQL介绍及使用
m0_70882914的博客
10-13 445
SparkSQL介绍及使用
spark streaming rdd编程
06-09
Spark Streaming RDD 编程主要涉及到以下几个方面： 1. 创建 StreamingContext 对象：首先需要创建一个 StreamingContext 对象，设置应用程序名称、批处理间隔等参数。 ```scala val conf = new SparkConf().setAppName("Streaming example") val ssc = new StreamingContext(conf, Seconds(1)) ``` 2. 创建输入 DStream：使用 StreamingContext 对象创建一个输入 DStream。这个 DStream 可以从多个数据源创建，如 Kafka、Flume、Kinesis、HDFS 等。 ```scala val lines = ssc.socketTextStream("localhost", 9999) ``` 3. 转换操作：通过对输入 DStream 进行一系列转换操作，得到需要的结果。转换操作包括 map、filter、reduceByKey、window 等。 ```scala val words = lines.flatMap(_.split(" ")) val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _) ``` 4. 输出操作：对转换后的 DStream 进行输出操作，输出结果可以写入 HDFS、Kafka、Cassandra 等存储系统，或者直接打印在控制台。 ```scala wordCounts.print() ``` 5. 启动 StreamingContext：最后需要启动 StreamingContext，并等待程序运行结束。 ```scala ssc.start() ssc.awaitTermination() ``` 完整的 Spark Streaming RDD 编程示例代码如下： ```scala import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object SparkStreamingRDD { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("Streaming example") val ssc = new StreamingContext(conf, Seconds(1)) val lines = ssc.socketTextStream("localhost", 9999) val words = lines.flatMap(_.split(" ")) val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _) wordCounts.print() ssc.start() ssc.awaitTermination() } } ``` 这个例子从本地 9999 端口读取输入数据，将输入数据拆分成单词，并计算每个单词出现的次数。最后将结果打印在控制台。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值