spark的惰性计算_大数据技术，Spark之RDD，这些就够了，RDD超详细总结（一）

最新推荐文章于 2021-10-22 16:24:53 发布
最新推荐文章于 2021-10-22 16:24:53 发布
阅读量1k 收藏 1
点赞数
文章标签： spark的惰性计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39886547/article/details/111577194
版权

一、RDD为什么出现？

8b6dbb57bd9eb1c94ab98bc2e49708bb.png

在实际开发应用中，存在许多迭代式计算，这些应用场景的共同之处是，不同计算阶段之间会重用中间结果，即一个阶段的输出结果会作为下一个阶段的输入。

以前常用的MapReduce框架是把中间结果写入到HDFS中，带来了大量的数据复制、磁盘IO和序列化开销。

如果有一种方法，能将结果保存在内存当中，就可以大量减少IO消耗。RDD一种弹性分布数据集，就是为了满足这种需求而出现的，它提供了一个抽象的数据架构，我们不必担心底层数据的分布式特性，只需将具体的应用逻辑表达为一系列转换处理。

不同RDD之间的转换操作形成依赖关系，可以实现管道化，从而避免了中间结果的落地存储，大大降低了数据复制、磁盘IO和序列化开销。

二、RDD是什么？

最低0.47元/天 解锁文章
weixin_39886547
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark读取hdfs路径下的数据_弹性式数据集RDDs
weixin_39915171的博客
12-31 496
一、RDD简介RDD 全称为 Resilient Distributed Datasets，是 Spark 最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外部数据集或其他 RDD 转换而来，它具有以下特性：一个 RDD 由一个或者多个分区(Partitions)组成。对于 RDD 来说，每个分区会被一个计算任务所处理，用户可以在创建 RDD 时指定其分区个数，如果没有...
spark之rdd属性以及特点
weixin_57821489的博客
03-14 703
一组分区（Partition），即数据集的基本组成单位; 一个计算每个分区的函数; RDD之间的依赖关系; 一个Partitioner，即RDD的分片函数; 一个列表，存储存取每个Partition的优先位置（preferred location）。 RDD特点 RDD表示只读的分区的数据集，对RDD进行改动，只能通过RDD的转换操作，由一个RDD得到一个新的RDD，新的RDD包含了从其他RDD衍生所必需的信息。RDDs之间存在依赖，RDD的执行是按照血缘关系延时计算的。如果血缘关系较长，可以通过持久化R
spark 算子使用类变量_大数据技术，Spark之RDD，RDD的两种算子介绍
weixin_39946534的博客
12-23 197
关于大数据技术中，Spark之RDD，RDD的两种算子介绍，希望能对大数据有更深刻的了解。RDD有两种类型的算子操作。一种是TransFormation这种只记录逻辑关系的转型型算子，一种是Action这种基于一个数据集进行运算的计算算子。比如，Map是一个TransFormation算子，Map将数据集的每一个元素按指定的函数转换为一个RDD返回。而Reduce是一个Action算子。一、Tra...
Spark RDD
weixin_41812379的博客
10-22 465
Spark 的核心是建立在统一的抽象弹性分布式数据集（Resiliennt Distributed Datasets，RDD）之上的，这使得 Spark 的各个组件可以无缝地进行集成，能够在同一个应用程序中完成大数据处理。本节将对 RDD 的基本概念及与 RDD 相关的概念做基本介绍。 RDD 的基本概念 RDD 是 Spark 提供的最重要的抽象概念，它是一种有容错机制的特殊数据集合，可以分布在集群的结点上，以函数式操作集合的方式进行各种并行操作。 通俗点来讲，可以将 RDD 理解为一个分布式对象集合，本
Spark_RDD基本概念
weixin_44449054的博客
02-28 147
标题1.什么是RDD2. 为什么会产生RDD3.RDD的属性4.RDD运行图5.RDD弹性6. RDD特点 1.什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。 RDD允许用户在执行多个查询时显式地将数据缓存在内存中，后续的查询能够重用这些数据，这极大地提升了查询速度 Dataset： 一个数据集合，用于存放数据的。 Distributed： RDD中的数据是分布式
04_尚硅谷大数据技术之Spark内核1
最新发布
08-08
4. Driver执行main函数，Spark查询采用惰性执行，Action触发任务计算，Stage划分，Taskset调度到Executor执行。 5. Task根据本地化原则在Executor上执行，Executor与Driver持续通信汇报任务进度。 ### 2. Spark部署...
SparkCore.docx
12-11
7. 惰性计算：Spark采用惰性计算模型，只在执行动作操作时才计算RDD，这使得Spark可以优化整个计算 DAG，避免不必要的计算。 8. Partitioner：RDD的分区策略可以通过Partitioner来指定，例如HashPartitioner用于...
Spark学习--RDD编码
05-09
Spark使用惰性求值，就可以把一些操作合并到一起来减少计算数据的步骤。 2. RDD的基本转化操作 函数名 目的 示例 结果 map() 将函数应用于RDD的每一元素， 将返回值构成新的RDD rdd.map(x=>x+1) {2,3,4,4} flatMap()...
【SparkCore篇03】RDD行动算子1
08-04
Spark Core是Apache Spark的核心组件，它提供了一种分布式内存计算框架，用于处理大规模数据。在Spark中，RDD（Resilient ...同时，Spark的惰性计算特性意味着这些操作只有在真正需要结果时才会执行，从而优化了性能。
华为大数据认证：Spark2x基于内存的分布式计算.pptx
09-24
《华为大数据认证：Spark2x基于内存的分布式计算》 Spark，作为大数据处理领域的重要工具，自2009年在加州大学伯克利分校AMP实验室诞生以来，已经发展成为一款高效、通用且可扩展的计算引擎。它以其独特的内存计算...
spark输出rdd数据_「Spark大数据系列」spark RDD 深入浅出之 RDD的操作（三）
weixin_32873435的博客
01-04 196
三．RDD的操作RDD是spark的基础抽象，一切的计算，都是围绕着它来进行。学会了RDD的创建，解决了数据的来源问题。现在，我们开始学习基于RDD数据集的运算。Spark官方给做了一个分类，分为Transformations 与 Actions；字面解释为转换与动作。从作用上来理解，会更容易些。Transformations(转换)，就是从原来的partitions做一个变化(比如做一个加1的函...
关于RDD的打印输出（来自官网）
贾慧玉的博客
12-21 7520
Printing elements of an RDDAnother common idiom is attempting to print out the elements of an RDD using rdd.foreach(println) or rdd.map(println). On a single machine, this will generate the expected ou
《Spark大数据分析：核心概念、技术及实践》一3.6　惰性操作
weixin_34152820的博客
05-02 213
本节书摘来自华章出版社《Spark大数据分析：核心概念、技术及实践》一书中的第3章，第3.6节，作者[美]　穆罕默德·古勒（MohammedGuller），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.6　惰性操作 RDD的创建和转换方法都是惰性操作。当应用调用一个返回RDD的方法的时候，Spark并不会立即执行运算。比如，当你使用S...
惰性计算
童真的烂漫的专栏
02-22 1991
惰性计算的前提： 创建非常大的属性、或者创建对象的时候有一些必要的副作用不能提前创建之外，几乎不应该使用惰性求值来处理类似逻辑。 一种简单的惰性计算： - (id)someBigProperty { if (_someBigProperty == nil) { NSMutableArray *someBigProperty = [NSMutableArray arr
RDD的读取进内存的过程和输出数据图解
热门推荐
qq_25843323的博客
04-25 3万+
假如我们电脑的内存是512G的，我们要从数据源（hdfs）读取的数据大小是1T 所以我们不能将所有的数据都一次读取进内存，在hfds中的数据是以block块的形式存放着的，所以1T的数据分成了很多个block的块                      HFDS    （1T）        在内存会加载多个block块进来进行相应的计算然后生成一个rdd1的一部分（512G） 这一部分rdd1...
【Spark】（三）Spark 架构原理和RDD使用详解
云祁QI
01-06 1678
文章目录一、Spark 架构原理1.1　Spark架构核心组件1.2　各部分功能图二、RDD概述2.1　什么是RDD？2.2　RDD具体包含了一些什么东西？2.3　RDD的五大特性2.4　RDD可以从哪来2.5　WordCount粗图解RDD三、RDD的创建方式3.1　通过读取文件生成的3.2　通过并行化的方式创建RDD3.3　其他方式四、RDD编程API4.1　Transformation4.2...
Spark惰性求值与持久化（缓存）
Yage的博客
05-11 1794
惰性求值意味着当我们对RDD调用转化操作（例如调用map()时），操作不会立即执行。相反，Spark会在内部记录下所要求执行的操作的相关信息。我们不应该把RDD看作存放着特定数据的数据集，而最好把每个RDD当作我们通过转化操作构建出来的、记录如何计算数据的指令列表。把数据读取到RDD的操作也同样是惰性的。因此，当我们调用sc.textFile()时，数据并没有读取进来，而是在必要时才会读取。和转化...
什么是spark的惰性计算?有什么优势?_spark——spark中常说RDD，究竟RDD是什么？
weixin_39638048的博客
11-22 1160
本文始发于个人公众号：TechFlow，原创不易，求个关注今天是spark专题第二篇文章，我们来看spark非常重要的一个概念——RDD。在上一讲当中我们在本地安装好了spark，虽然我们只有local一个集群，但是仍然不妨碍我们进行实验。spark最大的特点就是无论集群的资源如何，进行计算的代码都是一样的，spark会自动为我们做分布式调度工作。RDD概念介绍spark离不开RDD，RDD是其中...
spark的惰性计算_初探Spark
weixin_39974932的博客
12-18 714
Spark初识Spark是一个开源的强大的分布式查询和处理引擎.他提供了MapReduce 的灵活性和可扩展性,但速度明显更高：当数据存储在内存中时,他比Hadoop快100倍,访问磁盘时高达10倍。 Spark是对MapReduce的替代。Spark允许用户读取、转换、聚合数据,还可以轻松地训练和部署复杂地统计模型.pandas处理千万级以下的数据还是很快的，差不得一个G的数据量如果追求更好的体...
大数据学习总结.docx
01-10
"大数据学习总结" 在大数据领域，掌握关键组件和技术是至关重要的。文档主要涵盖了几个关键的大数据处理框架，如Zookeeper、YARN、Spark以及Hadoop，这些都是构建高效大数据集群的基础。 Zookeeper在集群中扮演了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值