PySpark学习----RDD副本cache和checkpoint

最新推荐文章于 2024-09-18 16:44:49 发布
最新推荐文章于 2024-09-18 16:44:49 发布
阅读量224 收藏
点赞数 3
分类专栏： spark 文章标签： 学习 spark python 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46164667/article/details/138090215
版权
本文探讨了Spark中的Cache和Checkpoint两种数据存储方式，强调了Cache基于内存的轻量级、分散存储和高效性，而Checkpoint则为集中存储于HDFS的重量级选项，虽速度较慢但提供数据安全性。
摘要由CSDN通过智能技术生成

1.Cache和Checkpoint区别

Cache是轻量化保存RDD数据,可存储在内存和硬盘,是分散存储,设计上数据是不安全的(保留RDD血缘关系)
CheckPoint是重量级保存RDD数据,是集中存储,只能存储在硬盘(HDFS)上，设计上是安全的(不保留RDD血缘关系)


2.Cache和CheckPoint的性能对比?

Cache性能更好,因为是分散存储,各个Executor并行执行,效率高,可以保存到内存中(占内存),更快CheckPoint比较慢,因为是集中存储,涉及到网络IO,但是存储到HDFS上更加安全(多副本)

卓_尔_不_凡
关注
专栏目录
spark-Checkpoint容错恢复(超级详细)
互联网知识分享
05-16 238
而checkpoint执行完之后，rdd已经没有之前所谓的依赖rdd了，而只有⼀个强⾏为其设置的checkpointRDD，checkpoint之后rdd的lineage就改变了。）checkpoint的元数据会记录jar的序列化的二进制文件，因为你改动过代码，然后重新编译，新的序列化jar文件，在checkpoint的记录中并不存在。（1）当我们spark 的容错机制使得某个任务或数据块丢失，都可以从最开始的数据源重新获取数据计算，然后恢复数据块和任务，如果计算比较多，计算链比较长，这个恢复过程就很长。
PySpark-RDD编程入门
qq_42577508的博客
08-02 781
学习PySpark时，记录的PySpark常用RDD用法，及其相关代码演示
PySpark-核心编程
qq_42577508的博客
08-19 1790
PySpark核心编程笔记记录，内含详细代码演示
Java-Spark系列3-RDD介绍
热门推荐
只是甲的博客
09-24 2万+
文章目录一.RDD概念1.1 RDD的特点1.2 RDD的核心属性二.RDD概述2.1 准备工作2.2 初始化spark2.3 RDD数据集2.3.1 并行集合2.3.2 外部数据集三.操作RDD3.1 基础知识3.2 将函数传递给Spark3.3 理解闭包3.4 使用键值对3.5 常见Transformations操作及Actions操作四.RDD实例4.1 初始化RDD4.1.1 通过集合创建RDD4.1.2 通过文件创建rdd4.2 RDD的map操作4.3 RDD使用函数参考: 一.RDD概念 R
PySpark RDD的缓存和Checkpoint
不忘初欣丶的博客
04-06 715
pyspark 中的缓存技术和Checkpoint技术
【Spark计算引擎----第三篇（RDD）---《深入理解 RDD：依赖、Spark 流程、Shuffle 与缓存、Spark并行度》】
书生的技术分享
08-05 800
《深入理解 RDD：依赖、Spark 流程、Shuffle 与缓存》在 Apache Spark 中，Shuffle 是一个关键的概念，它涉及到数据的重新分布，通常发生在宽依赖操作中，例如groupByKeyjoin等。mapreduce的shuffle作用： 将map计算后的数据传递给reduce使用mapreduce的shuffle过程： 分区，排序，合并（规约）Shuffle 的定义Shuffle 是指在 Spark 中对数据进行重新分布的过程，通常涉及到将数据从一个节点移动到另一个节点。
Spark-core/SparkSQL 简单使用总结
a1314_521a的博客
08-16 2730
Spark-core总结 RDD对象特性和RDD常用算子总结（SparkContext对象创建、RDD对象创建、Transformation算子Action 算子分区操作算子 RDD优化缓存 cache与checkpoint RDD共享变量与累加器 共享变量（广播变量与累加器）RDD全局并行度设置； SparkSQL总结 DataFrame构建 DataFrame数据处理代码风格 DataFrame数据清洗API DataFrame注册成表 SparkSQL 数据保存 自定义udf函数 开窗函数 Shuff
Lecture 7 Spark Core-RDD持久化
Hadoop->Spark->Flink
04-17 977
A3:转换算子的返回值100%是RDD, 而Action算子的返回值100%不是RDD. 转换算子是懒加载的, 只有遇到Action才会执行. Action就是转换算子处理链条的开关.CheckPoint是重量级保存RDD数据, 是集中存储, 只能存储在硬盘(HDFS)上, 设计上是安全的(不保留 RDD血缘关系)Cache是轻量化保存RDD数据, 可存储在内存和硬盘, 是分散存储, 设计上数据是不安全的(保留RDD 血缘关系)即，RDD缓存是一个整体，但是分散存储在各个节点（硬盘或内存）上。
PySpark | RDD持久化 | 共享变量 | Spark内核调度
liujiesxs的博客
06-26 1272
RDD持久化、共享变量、Spark任务调度
Spark避坑系列（三）（Spark Core-RDD 依赖关系&持久化&共享变量）
艺术架构
01-11 494
该篇章主要介绍spark的编程核心RDD的其他概念，依赖关系，持久化，广播变量，累加器等
PySpark核心编程（核心RDD API、核心原理）
weixin_52977075的博客
03-10 739
11.0 为什么要使用RDD？🐰 分布式计算需要： 分区控制、shuffer控制、数据存储/序列化、发送、数据计算 在分布式框架中，需要有一个统一的数据抽象对象来实现上述分布式计算所需的功能， 这个数据抽象对象就是RDD 1.1 RDD 是什么？-- 弹性分布式数据集 R ： 弹性 ：数据可以存放在内存中也可以存储在磁盘中 D ：分布式 ：分布式存储，用于分布式计算，RDD的数据是跨越机器存储（跨进程） D ：数据集 ：是一个数据的集合，用于存放数据 （ 类使用 list、Dict、array
PySpark Core（Checkpoint、共享变量、RDD持久化）
u013076651的博客
02-12 413
RDD 数据可以持久化，但是持久化/缓存可以把数据放在内存中，虽然是快速的，但是也是最不可靠的；也可以把数据放在磁盘上，也不是完全可靠的！例如磁盘会损坏等。Checkpoint的产生就是为了更加可靠的数据持久化，在Checkpoint的时候一般把数据放在在HDFS上，这就天然的借助了HDFS天生的高容错、高可靠来实现数据最大程度上的安全，实现了RDD的容错和高可用。
shader 案例学习笔记之将坐标系分成4个象限
localhost
09-13 294
坐标系被分成了4个单元格，每个单元格都有唯一的索引，后续就可以根据索引去渲染。
Spring Framework 学习总结博客
2302_80084329的博客
09-13 1127
通过本文的学习，我们从Spring的核心架构入手，逐步理解了IoC和DI的概念，并通过代码示例掌握了如何在实际项目中使用这些技术。Spring通过IoC容器管理bean，依赖注入将bean之间的关系解耦，大大简化了复杂系统的开发过程。这些基本的Spring知识是理解其高级特性（如AOP、事务管理）的基础，掌握这些概念后，我们可以更加自如地使用Spring构建复杂的企业级应用。
看Threejs好玩示例，学习创新与技术(二)
htsitr2的专栏
09-14 560
它的主要特点是确保生成的点之间保持一定的最小距离，从而避免点的聚集。这种方法在计算机图形学、游戏开发、物理模拟等领域中非常有用，尤其是在需要生成自然分布的对象（如树木、石头等）时。如果不进行裁剪，那么效果如下（初步的锯齿感是因为矩形内采样的结果）。为啥这么复杂呢，为啥不开始存储每个方块的UV呢？下面代码的vTexCoords（=savedModelMatrix，已修改）记录方块所在的位置，vWorldPosition表示方块中像素的偏移。在上面那副图中，聪明的你一定初步猜到了每个方块的纹理是怎么得到的。
关于HarmonyOS的学习
m0_72035166的博客
09-16 1232
1.node模块化​​​​// tab()2.path模块// path内置模块，专门用来处理路径​// 获取路径最后一部内容，一般用它来获取文件名称​// 给定的路径连接在一起，可以把路径片段拼成完整路径// const result = path.join('day13', 'code', '03_path模块.js')// const result = path.join('day13', 'code', '../','03_path模块.js')​。
哪些人适合学习人工智能?
weixin_44059661的博客
09-18 263
前端工程师、Java 工程师、大数据工程师等开发类工程师，学习人工智能具有很大的优势，他们普遍具备扎实的编程基础和丰富的企业项目开发经验，相对而言，这类人比理工科学生学习人工智能更容易。就计算机类专业的学生而言，他们所具备的优势在于出色的逻辑思维和强大的编程能力，这是掌握AI技术的关键。人工智能是一个多学科交叉、应用广泛的领域，它为不同背景的人提供了学习和发展的机会，无论是理工科学生、技术开发人员，还是来自其他行业的专业人士，只要对AI充满兴趣并愿意投入时间和精力，都有机会在AI领域取得成就。
ODrive学习——添加485编码器支持
最新发布
lunzilx的博客
09-18 895
尝试在ODrive中添加485型的编码器的支持。
pyspark系列3-spark核心之rdd介绍
03-16
RDD支持两种类型的操作：转换操作和行动操作。转换操作是指对RDD进行转换，生成一个新的RDD，但并不会立即执行，只有在行动操作被调用时才会执行。行动操作是指对RDD进行计算并返回结果。RDD的特点是容错性强，可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值