Spark(12) -- SparkCore(3) -- RDD的依赖关系、缓存以及容错机制-CheckPoint

最新推荐文章于 2023-05-16 09:54:31 发布
最新推荐文章于 2023-05-16 09:54:31 发布
阅读量218 收藏 1
点赞数 1
分类专栏： 大数据学习 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eraining/article/details/108919314
版权
本文深入探讨Spark中的RDD依赖关系，包括窄依赖和宽依赖，以及为何需要依赖结构。同时，介绍了RDD的缓存机制，如cache和persist，强调其在容错和性能提升中的作用。此外，详细讲解了RDD的Checkpoint功能，作为更可靠的持久化和容错手段。
摘要由CSDN通过智能技术生成

1. RDD的依赖

 RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖(narrow dependency)和宽依赖(wide dependency)。
在这里插入图片描述
在这里插入图片描述
注意:join操作比较特殊,可能同时存在宽、窄依赖

1.1 窄依赖

阅读源码：
在这里插入图片描述

 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用。
总结:窄依赖我们形象的比喻为独生子女

了解本专栏 订阅专栏 解锁全文 超级会员免费看
erainm
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Spark避坑系列（三）（Spark Core-RDD 依赖关系&持久化&共享变量）
艺术架构
01-11 482
该篇章主要介绍spark的编程核心RDD的其他概念，依赖关系，持久化，广播变量，累加器等
SparkCore之RDD依赖关系_RDD缓存_RDD CheckPoint
Faded1573606285的博客
11-09 345
一 RDD依赖关系 1 Lineage RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 （1）读取一个HDFS文件并将其中内容映射成一个个元组 scala> va...
SparkCore:RDD容错机制Checkpoint
04-23 3548
RDD容错机制Checkpoint 引入: 持久化的局限 持久化/缓存可以把数据放在内存中，虽然是快速的，但是也是最不可靠的；也可以把数据放在磁盘上，也不是完全可靠的！例如磁盘会损坏等。 问题解决 Checkpoint的产生就是为了更加可靠的数据持久化，在Checkpoint的时候一般把数据放在HDFS上t，这就天然的借助了HDFS天生的高容错、高可靠来实现数据最大程度上的安全，实现了RDD的容错...
Apache Spark RDD容错机制Checkpoint
大数据流浪法师的学习笔记与分享
04-04 179
持久化的局限 持久化/缓存可以把数据放在内存中，虽然是快速的，但是也是最不可靠的；也可以把数据放在磁盘上，也不是完全可靠的！例如磁盘会损坏等。 问题解决 Checkpoint的产生就是为了更加可靠的数据持久化，在Checkpoint的时候一般把数据放在在HDFS上，这就天然的借助了HDFS天生的高容错、高可靠来实现数据最大程度上的安全，实现了RDD的容错和高可用 使用步骤 1.SparkConte...
Spark RDD的缓存机制、CheckPoint机制（容错机制）和RDD的依赖关系
wlk_328909605的博客
09-20 1938
RDD的缓存机制 RDD通过cache方法或者persist方法可以将前面的计算结果缓存，但并不是立即缓存，而是在接下来调用Action类的算子的时候，该RDD将会被缓存在计算节点的内存中，并供后面使用。 注意：缓存结束后，不会产生新的RDD 缓存有可能丢失，或者存储存储于内存的数据由于内存不足而被删除，RDD的缓存容错机制保证了即使缓存丢失也能保证计算的正确执行。通过基于RDD的一系列转换，丢失...
RDD的依赖关系、窄依赖、宽依赖、RDD的缓存、RDD缓存方式、DAG的生成、RDD容错机制之Checkpoint
涂作权的博客
07-08 3228
1、RDD的依赖关系RDD和它依赖的父RDD（s）的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 1.1、窄依赖窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结：窄依赖我们形象的比喻为独生子女1.2、宽依赖宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Parti
spark笔记之RDD容错机制之checkpoint
qq_40208605的博客
08-30 413
10.checkpoint是什么 （1）、Spark 在生产环境下经常会面临transformation的RDD非常多（例如一个Job中包含1万个RDD）或者具体transformation的RDD本身计算特别复杂或者耗时（例如计算时长超过1个小时），这个时候就要考虑对计算结果数据持久化保存； （2）、Spark是擅长多步骤迭代的，同时擅长基于Job的复用，这个时候如果能够对曾经计算的过程产生...
Spark系列--SparkCore(五)RDD容错性之cache、persist、checkpoint
淡淡的倔强的博客
07-19 1713
一、RDD容错性 理解RDD的容错性： RDD可以通过血统机制来进行RDD的恢复。在RDD进行转换和动作的时候，会形成RDD的Lineage依赖链，当某一个RDD失效的时候，可以通过重新计算上游的RDD来重新生成丢失的RDD数据。 但是在spark计算里面,假如计算流程DAG特别长,服务器需要将整个DAG计算完成得出结果,但是如果在这很长的计算流程中突然中间算出的数据丢失了,spark又会根...
【SparkCore篇05】RDD缓存和checkpoint1
08-04
本篇文章主要探讨Spark中的RDD缓存和checkpoint机制。 首先，RDD缓存是Spark提升性能的关键特性。通过调用`persist()`或`cache()`方法，我们可以将一个RDD的计算结果存储在内存中，以便后续的操作可以快速访问，...
spark-Checkpoint容错恢复(超级详细)
互联网知识分享
05-16 230
而checkpoint执行完之后，rdd已经没有之前所谓的依赖rdd了，而只有⼀个强⾏为其设置的checkpointRDD，checkpoint之后rdd的lineage就改变了。）checkpoint的元数据会记录jar的序列化的二进制文件，因为你改动过代码，然后重新编译，新的序列化jar文件，在checkpoint的记录中并不存在。（1）当我们spark 的容错机制使得某个任务或数据块丢失，都可以从最开始的数据源重新获取数据计算，然后恢复数据块和任务，如果计算比较多，计算链比较长，这个恢复过程就很长。
Spark SQL，DataFrames和Datasets Guide （spark 2.4.3）
shareing
05-29 435
文章目录概述SQLDatasets and DataFramesDatasetsDataFrames开始SparkSession创建DataFrameDataFrame操作备注 概述 Spark SQL是Spark的一个组件，用于结构化数据的计算。与基本Spark RDD API不同，Spark SQL提供的接口为Spark提供了关于数据和正在执行的计算的结构的更多信息。在内部，Spark使用这些...
大数据【Scala】【Spark SQL】error: object read is not a member of package org.apache.spark
sunshine77_的博客
03-11 5522
1. 在创建DataFrame的时候出现了一个问题 scala> val df3 = spark.read.json("/usr/local/tmp_files/people.json") <console>:17: error: not found: value spark val df3 = spark.read.json("/usr/l...
spark基础知识三
weixin_42575593的博客
10-07 213
主要围绕spark的底层核心抽象RDD和原理进行理解。主要包括以下几个方面 RDD弹性分布式数据集的依赖关系 RDD弹性分布式数据集的lineage血统机制 RDD弹性分布式数据集的缓存机制 spark任务的DAG有向无环图的构建 spark任务如何划分stage spark任务的提交和调度流程 1. RDD的依赖关系...
Spark之持久化与存储级别
qq_34382453的博客
12-25 2295
一、持久化cache()与persist()   根据spark官方文档，Spark 中一个很重要的能力是将数据持久化（或称为缓存），在多个操作间都可以访问这些持久化的数据。当持久化一个 RDD 时，每个节点的其它分区都可以使用 RDD 在内存中进行计算，在该数据上的其他 action 操作将直接使用内存中的数据。这样会让以后的 action 操作计算速度加快（通常运行速度会加速 10 倍）。缓存...
Spark 3.0.0 + Hadoop3.1.3 + HIve 3.1.2 遇到的坑
wd_boy的博客
11-03 6914
前几天公司的集群从 Hadoop 2.7 + Spark 2.4 + Hive 2.X + Scala2.11 直接干到了Spark 3.0.0 + Hadoop3.1.3 + HIve 3.1.2 + Scala 2.12 ，然后项目就要跟着升级啦，结果问题就来了一堆了，此篇记录下遇到的几个问题以及解决办法。 使用 mvn package 打包的时候发现 df.foreachPartition内部报错：Error:(83, 19) value hasNext is not a member of...
Spark之【RDD编程】详细讲解(No6)——《RDD缓存与CheckPoint》
大数据梦想家
02-26 9929
        本篇博客是Spark之【RDD编程】系列第六篇，为大家介绍的是RDD缓存与CheckPoint。         该系列内容十分丰富，高能预警，先赞后看! 文章目录7.RDD缓存8.RDD CheckPoint 7.RD...
Kafka高级(5) -- Kafka中数据清理（Log Deletion）
erainm
09-16 2057
Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日志文件，这样也是为了方便进行日志的清理。在Kafka中，提供两种日志清理方式： 1. 日志删除 2. 日志压缩
Kafka高级(6) -- Kafka配额限速机制（Quotas）
erainm
09-16 1884
生产者和消费者以极高的速度生产/消费大量数据或产生请求，从而占用broker上的全部资源，造成网络IO饱和。有了配额（Quotas）就可以避免这些问题。Kafka支持配额管理，从而可以对Producer和Consumer的produce&fetch操作进行流量限制，防止个别业务压爆服务器。 1. 限制producer端速率 2. 限制consumer端速率 3. 取消Kafka的Quota配置
分别简述Spark中的缓存机制 (cache和persist) 与checkpoint机制，并指出两者的区别与联系,以及Spark如何实现容错机制?
最新发布
06-01
Spark实现容错机制的方式是记录RDD的依赖关系和转换操作。当RDD的数据丢失时，Spark可以通过依赖关系和转换操作重新计算丢失的数据。此外，Spark还可以通过checkpoint机制将RDD数据存储在分布式文件系统中，在数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值