Spark RDD容错率描述

最新推荐文章于 2023-06-06 11:21:03 发布

IT影风

最新推荐文章于 2023-06-06 11:21:03 发布

阅读量487

点赞数

文章标签： Spark Spark RDD Spark容错率

本文链接：https://blog.csdn.net/afafawfaf/article/details/81045186

版权

1，Spark RDD如果其中的RDD计算错误，重算它会找与之前的RDD

2，Spark RDD如果RDD做了缓存策略，计算错误的RDD重算就会从缓存里面找

3，Spark RDD如果Lineage过长对RDD做doCheckpoint()，计算错误的RDD重算就会从磁盘里面找到

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

IT影风

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

RDD容错机制

lxq1145371298的博客

06-14

193

Spark建议，在将RDD标记为检查点之前，最好将RDD持久化到内存，因为Spark会单独启动一个任务将标记为检查点的RDD的数据写入文件系统，如果RDD的数据已经持久化到了内存，将直接从内存中读取数据，然后进行写入，提高数据写入效率，否则需要重复计算一遍RDD的数据。cache()或者persist()是将数据存储于机器本地的内存或磁盘，当机器发生故障时无法进行数据恢复，而检查点是将RDD数据存储于外部的共享文件系统（例如HDFS），共享文件系统的副本机制保证了数据的可靠性。（二）与RDD持久化的区别。

Spark RDD与Partion

Deegue

09-18

1万+

一、RDD的概述 1.1　什么是RDD？ RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。 ...

参与评论您还未登录，请先登录后发表或查看评论

RDD之一：总体介绍

weixin_34380948的博客

03-19

580

摘要本文提出了分布式内存抽象的概念——弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型集群上执行基于内存的计算。现有的数据流系统对两种应用的处理并不高效：一是迭代式算法，这在图应用和机器学习领域很常见；二是交互式数据挖掘工具。这两种情况下，将数据保存在内存中能够极大地提高性能。为了...

Spark RDD容错机制

最新发布

梁辰兴的博客

06-06

1319

Spark RDD概念学习系列之RDD的容错机制（十七）

weixin_33721344的博客

09-20

333

RDD的容错机制　　　　RDD实现了基于Lineage的容错机制。RDD的转换关系，构成了compute chain，可以把这个compute chain认为是RDD之间演化的Lineage。在部分计算结果丢失时，只需要根据这个Lineage重算即可。　　图1中，假如RDD2所在的计算作业先计算的话，那么计算完成后RDD1的结果就会被缓存起来。缓存起来的结果会被后续的计算使用...

RDD容错

拱头的专栏

01-05

1259

（1）RDD分宽依赖和窄依赖，在宽依赖的RDD数据丢失后，要重新计算所有父分区，由DAGScheduler调用重做上一个Stage，宽依赖的RDD数据丢失后由TaskManager调用重做丢失数据的Task，这一种情况是在一个action执行的过程中发生的，所以出错后不需要执行所有的Stage，因为每个Stage执行之后会保存下suffer数据，供下一个Stage 使用。（2）persist和

大数据之Spark（二）：Spark RDD

Oak_Komorebi的博客

08-11

486

五、Spark RDD 介绍 RDD（Resilient Distributed Dataset）：弹性分布式数据集，是Spark中最基本的数据抽象，它代表⼀个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用⼯作集，这极大地提升了查询速度。 RDD特性： # RDD源码中的说明 Internally, each RDD is characterized by fi

05-SparkRDD原理和编程接口

PenguinLittle的博客

03-18

738

1.弹性分布式数据集RDD 1.1.RDD概述 1.1.1.什么是RDD RDD（Resilient Distributed DataSet）弹性分布式数据集。是spark中最基本的数据抽象，是一个不可变的、可分区的、可并行计算的集合。 Resilient：数据可以选择性的存储在内存中，或者磁盘中 Distributed：分布式存储、分布式计算 DataSet：用于存放数据的数据集合 1.1.2.RDD的属性 A list of partitions：分区列表，数据集基本组成单位说明：每个分区对应一个

spark输出rdd数据_Spark学习之路（三）Spark之RDD

weixin_39648432的博客

12-23

507

一、RDD的概述1.1　什么是RDD？RDD(Resilient Distributed Dataset)叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。1.2　RDD...

Spark RDD是什么？

大数据Spark教程详解

02-11

730

Spark 的核心是建立在统一的抽象弹性分布式数据集（Resiliennt Distributed Datasets，RDD）之上的，这使得 Spark 的各个组件可以无缝地进行集成，能够在同一个应用程序中完成大数据处理。本节将对 RDD 的基本概念及与 RDD 相关的概念做基本介绍。 RDD 的基本概念 RDD 是 Spark 提供的最重要的抽象概念，它是一种有容错机制的特殊数据集合，可以分...

Spark中的RDD容错机制

goTsHgo的博客

10-31

1613

引入一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。因此，Spark选择记录更新的方式。但是，如果更新粒度太细太多，那么记录更新成本也不低。因此，RDD只支持粗粒度转换，即只记录单个块上执行的单个操作，然后将创建RDD的一系列变换序列（每个RDD都包含了他是如何由其他RDD变换过来的以及如何重建某一块数据的信息。...

SparkRDD容错处理

qq_32427393的博客

08-26

1623

RDD不同的依赖关系（宽依赖、窄依赖）是spark rdd有不同的容错处理方式；对spark框架层面容错机制的三大层面（调度层、RDD血统层、Checkpoint层）和spark rdd容错四大核心要点。 1、spark rdd容错原理 RDD的不同依赖关系导致spark对不同的依赖关系有不同的处理方式。对于宽依赖实质是指一个父RDD的分区会对应一个或多个...

SparkCore（17）：RDD的容错机制

小蚯蚓的博客

11-28

1322

一、概念 RDD 任务运行过程中，如果出错，spark会有相应的机制去进行错误修复，从而保证任务持续执行，即RDD容错机制。二、具体容错分类 1.driver宕机（1）如果job运行在client：程序直接挂了（2）如果job运行在cluster： -》spark on standalone/mesos：通过spark-submit的参数--supervise可以指定当d...

spark笔记之RDD容错机制之checkpoint

weixin_34336526的博客

08-27

154

10.checkpoint是什么（1）、Spark 在生产环境下经常会面临transformation的RDD非常多（例如一个Job中包含1万个RDD）或者具体transformation的RDD本身计算特别复杂或者耗时（例如计算时长超过1个小时），这个时候就要考虑对计算结果数据持久化保存；（2）、Spark是擅长多步骤迭代的，同时擅长基于Job的复用，这个时候如果能够对曾经计算的过程产生的数据进...

spark -- RDD容错机制Checkpoint

kismet

04-08

1161

RDD容错机制Checkpoint ●持久化的局限持久化/缓存可以把数据放在内存中，虽然是快速的，但是也是最不可靠的；也可以把数据放在磁盘上，也不是完全可靠的！例如磁盘会损坏等。 ●问题解决 Checkpoint的产生就是为了更加可靠的数据持久化，在Checkpoint的时候一般把数据放在在HDFS上，这就天然的借助了HDFS天生的高容错、高可靠来实现数据最大程度上的安全，实现了RDD的...

Spark：RDD checkpoint容错机制

不花的花和尚的博客

06-29

558

经过上一节的学习，我们了解到合理地将RDD持久化/缓存，不仅直接避免了RDD的重复计算导致的资源浪费和占用还提升了RDD的容错性，而且间接提升了分析任务的完成效率，那么为什么又会需要基于checkpoint的容错机制，在什么情况下需要设置checkpoint呢？对RDD进行checkpoint操作，会将RDD直接存储到磁盘上，而不是内存，从而实现真正的数据持久化。 checkpoint实际上对RDDlineage(RDD依赖关系图谱)的辅助和重新切割修正，当RDD依赖关系过于冗长和复杂时，即依赖...

【总结】Spark容错机制