RDD血缘关系的追溯和持久化、checkPoint语法

最新推荐文章于 2024-05-20 09:35:11 发布
最新推荐文章于 2024-05-20 09:35:11 发布
阅读量778 收藏 1
点赞数 1
分类专栏： Spark 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wx1528159409/article/details/87647405
版权

1. RDD血缘关系语法

RDD血缘关系的追溯：toDebugString

查看RDD间依赖类型：.dependencies

 

2. RDD数据持久化

RDD数据持久化缓存：.cache（也可以用persist，实际上cache就是用的persist方法）

 

3. RDD设置检查点及使用

RDD设置检查点

scala> sc.setCheckpointDir("hdfs://hadoop100:9000/checkpoint")

RDD做checkPoint和使用checkPoint

scala> ch.checkpoint
scala> ch.collect
攻城狮Kevin
关注
专栏目录
数据中台之血缘追溯
GIS摆渡人
04-13 1494
一. 简介 es/neo4j/mongo 二. 核心 1. 特征 归属性 、多源性 、可追溯性 、层次性 2. 血缘关系的可视化 2.1 信息节点 节点三种类型: 主节点/数据流出节点/数据流入节点 2.2 数据流转线路 维度信息: 方向/数据更新量级/数据更新频次 2.3 清洗规则节点 2.4 转换规则节点 2.5 数据归档销毁规则节点 3. 数据血缘关系的作用 3.1 数据溯源 3.2 评估数据价值 3.3 数据质量评估 3.4 数据归档、销毁的参考 4. 框架 Neo4J 三. 其他 1. 参
SparkRDD数据checkpoint与持久化数据
最新发布
AI天才研究院
06-08 981
《SparkRDD数据checkpoint与持久化数据》 1.背景介绍 在大数据处理领域,Apache Spark作为一种快速、通用的计算引擎,已经成为事实上的标准。Spark提供了RDD(Resilient Distributed Dataset)这一核心抽象,作为
spark血缘关系与持久化
探索数据奥秘的博客
10-12 459
/** * !!!!! * rdd不保存数据，保存计算逻辑,类似水管子 * 持久化是截留水池的关系 * 避免从血缘最开始的rdd开始计算 */ object Test{ def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount") val sc: SparkContext = new S...
Spark学习之路(六)：深入剖析与使用RDD的持久化机制和Checkpoint机制
萧邦主的城邦
07-10 1072
内容简介一、持久化机制Persist二、检查点机制Checkpoint三、持久化与Checkpoint的区别四、代码演示五、总结 一、持久化机制Persist 所谓RDD的持久化，其实就是对RDD进行缓存，它是Spark重要的优化手段之一。为什么需要对RDD进行缓存呢？这与Spark作业的执行机制有关，我们知道，Spark程序只有遇到action算子的时候才会执行程序，具体的执行算法大致如下：S...
Spark深入解析（十四）：SparkCore之RDD的持久化/缓存、容错机制Checkpoint
wzc8961661的博客
05-03 2128
目录RDD的持久化/缓存持久化/缓存API详解代码演示RDD的容错机制Checkpoint代码演示持久化和Checkpoint的区别 RDD的持久化/缓存   在实际开发中某些RDD的计算或转换可能会比较耗费时间，如果这些RDD后续还会频繁的被使用到，那么可以将这些RDD进行持久化/缓存，这样下次再使用到的时候就不用再重新计算了，提高了程序运行的效率 持久化/缓存API详解 persist方法和c...
Spark RDD CheckPoint检查点
sj天问的博客
12-07 530
RDD CheckPoint检查点 1）检查点：是通过将RDD中间结果写入磁盘。 2）为什么要做检查点？ 由于血缘依赖过长会造成容错成本过高，这样就不如在中间阶段做检查点容错，如果检查点之后有节点出现问题，可以从检查点开始重做血缘，减少了开销。 3）检查点存储路径：Checkpoint的数据通常是存储在HDFS等容错、高可用的文件系统 4）检查点数据存储格式为：二进制的文件 5）检查点切断血缘：在Checkpoint的过程中，该RDD的所有依赖于父RDD中的信息将全部被移除。 6）检查点触发时间：对RDD进
RDD优化--RDD持久化(cache，persist，checkpoint)
小财迷嘻嘻的博客
11-11 669
目录1、为什么要使用RDD持久化2、RDD持久化原理3、RDD持久化使用场景4、怎么使用RDD持久化4.1 cache()4.2 persist()5、RDD持久化策略选择6、checkpoint机制6.1 checkpoint应用6.2 checkpoint使用 1、为什么要使用RDD持久化 Spark主要是基于内存进行计算的，那么为什么我们对大量数据进行了很多的算子操作而内存不会爆掉？ Spark中有tranformation和action两类算子，tranformation算子具有lazy特性，只有a
Spark—RDD依赖&血缘关系
weixin_42570840的博客
06-19 864
Spark-core中的RDD依赖和血缘关系
补充——spark RDD序列化和持久化
weixin_53898747的博客
04-12 922
RDD序列化和持久化以及cache和checkpoint。
Spark-之数据持久化（血缘关系cache\persist\checkpoint）
shufangreal的博客
08-24 756
Spark-之数据持久化（血缘关系 cache\persist\checkpoint） cache persist checkpoint cache、persist默认都是调用persist(StorageLevel.MEMORY_ONLY)。 1、cache & persist 由于RDD本身是不存储数据的，它只是一个抽象。多个RDD之间可能存在依赖，这种现象被称为RDD的血缘关系，RDD的血缘关系在job触发的时候形成DAG。 1、如果没有将RDD进行持久化。 如果一个RDD同时触发2
Spark - RDD持久化
浮生、佐以酒
04-18 201
概述 缓存是用Spark构建迭代算法的关键，通过缓存，Spark避免了RDD上的重复计算，能够极大的提升计算速度，在Spark程序的调优中就会考虑到RDD的持久化机制。对于迭代算法和快速交互式应用来说，RDD持久化是非常重要的。Spark的持久化机制是自动容错的，如果持久化的RDD的任何partition丢失了，那么Spark会自动通过其源RDD，使用transformation操作重新计算par...
sqllineage解析sql列级血缘并提交到datahub
LCriska的博客
03-04 7045
通过sqllineage获取指定sql文件中HiveSQL的字段级血缘关系，并将结果提交到datahub
SparkListener血缘——Openlineage插件实现思路
老扎儿的博客
03-23 1536
后续还会介绍的有：Atlas 血缘插件实现思路、Spline血缘插件实现思路、数据血缘Antlr4解析、Atlas-Openlineage-Spline多系统元数据同步。欢迎大家留言评论~
探索数据旅程：Spline - 开源的数据血统追踪解决方案
gitblog_00087的博客
05-20 317
探索数据旅程：Spline - 开源的数据血统追踪解决方案 splineData Lineage Tracking And Visualization Solution项目地址:https://gitcode.com/gh_mirrors/spl/spline 项目介绍 Apache Spark等大数据处理框架的繁荣为我们带来了高效的数据分析能力，但同时也提出了新的挑战——如何跟踪和理解数据从源...
Apache Atlas 数据血缘
亚马逊云科技专栏
12-23 2352
01什么是数据血缘数据血缘跟踪、记录、展示了数据来自何处，以及在数据流转过程中应用了哪些转换操作，它有助于追溯数据来源及处理过程。数据血缘系统的核心功能：数据资产的自动发现及创建血缘关系的...
Spark三大核心数据结构（一）——RDD的概念、血缘和持久化
攻城狮Kevin
02-13 3522
Spark中三大核心数据结构： RDD、 广播变量（分布式只读变量）、 累加器（分布式只写变量）、 1. RDD的概念和特点： RDD，全称Resilient Distributed Dataset，弹性分布式数据集，作为Spark中最基础的数据抽象，类似Java中对象的概念； 它代表一个不可变（只读）、可分区、里面的元素可并行计算的集合，List、Set、Map都是RDD的常见...
图像溯源，图血缘关系总结
shuaishuaihyh的博客
03-04 5614
1.引言 2.处理手段 2.1 溯源图集过滤 2.1.1 局部特征提取 2.1.2 构造差异矩阵 2.1.2 构造边的方向矩阵 2.2.溯源图的构造 3.数据集 4.评估方法 5.思考与展望 6.参考文献 [1] D.Moreira, A.Bharati, J.Brogan, A.Pinto, M.Parowski, K.W.Bowyer, P.J.Flynn, A.Rocha,...
spark2.0原理分析--RDD血缘（RDD Lineage）
zg_hover的专栏
06-13 5780
本文介绍了RDD的血缘基本概念和形成。血缘是由于RDD的转换操作形成的多个RDD的依赖关系。RDD的血缘不依赖数据的计算。每个RDD都有一个依赖的父RDD的引用的列表，通过这个列表来找到依赖的父RDD，多个RDD的依赖形成了一个DAG图（有向无环图）。这就是RDD的血缘（RDD Lineage）。
spark RDD的血缘关系
09-22
当创建一个RDD时，它会记录下相关的元数据信息和转换行为，这些信息被称为RDD的血缘关系。RDD的血缘关系包括两种依赖关系：窄依赖和宽依赖。 窄依赖是指父RDD的每个分区最多只被子RDD的一个分区所使用。在计算过程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值