Spark之RDD的五大特点

最新推荐文章于 2023-06-15 10:54:33 发布
最新推荐文章于 2023-06-15 10:54:33 发布
阅读量110 收藏
点赞数
分类专栏： 大数据 文章标签： spark hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sijiwang95/article/details/129078164
版权
文章讲述了在处理大规模数据时，如何通过分区将数据分配给多个Task并行计算，以及RDD（ResilientDistributedDatasets）的特性，如不可变性、依赖关系和缓存策略。RDD的计算基于旧RDD生成新RDD，并可通过缓存提高效率。同时，介绍了checkpoint机制用于更可靠的容错，将数据存储在如HDFS的分布式系统中。
摘要由CSDN通过智能技术生成

  • 分区

    • 可以将计算的海量数据分成多份，需要分成多少可分区可以通过方法指定

    • 每个分区都可以对应一个task线程执行计算

  • 只读

    • rdd中的数据不能直接修改，需要通过方法计算后得到一个新的rdd

    • rdd本身存储的数只能读取

  • 依赖

    • rdd之间是有依赖关系的

    • 新的rdd是通过旧的rdd计算得到

  • 缓存

    • 可以将计算的中结果缓存起来，如果后续计算错误时，可以从缓存位置重新计算

    • 将数据存储在内存或本地磁盘

    • 作用是容错

  • checkpoint

    • 作用和缓存一样

    • checkpoint可以将数据存储在分布式存储系统中，比如hdfs

javaisGod_s
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark RDD五大特性
一亩三分地
03-12 2127
学习rdd的特性最好是从官网和源码来进行学习，首先看下官网解释：http://spark.apache.org/docs/latest/rdd-programming-guide.html#resilient-distributed-datasets-rdds Resilient Distributed Datasets (RDDs) Spark revolves around t...
Spark RDD概念学习系列之RDD的5大特点
bbbeoy的专栏
04-08 4823
http://www.cnblogs.com/zlslch/category/924363.html  RDD的5大特点        1）有一个分片列表，就是能被切分，和Hadoop一样，能够切分的数据才能并行计算。 　　一组分片（partition），即数据集的基本组成单位，对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时
Spark-RDD的五大特性
最新发布
qq_40382400的博客
06-15 1134
只有对于(Key,Value)的RDD，才会有Partitioner，非(Key,Value)的RDD的Parititioner的值是None。默认值就是程序所分配到的CPU Core的数目(设置的最大core数)。【注】 RDD是只读的，要想改变RDD中的数据，只能创建一个新的RDD由一个RDD转换到另一个RDD，通过操作算子（map、filter、union、join、reduceByKey…RDD逻辑上是分区的，每个分区的数据是抽象存在的，计算的时候会通过一个compute函数得到每个分区的数据。
内存计算框架Spark学习笔记（2）—— Spark RDD 五大特性
一角残叶的博客
01-22 417
1 Spark RDD 的五个特点 一系列的分片，类似 Hadoop 中的split; 在每个分片都有一个函数去迭代计算它； 一系列的依赖； 对于一个 K-V 的 RDD 可以指定一个 partition,告诉它如何分片，常用的有 hash,range 数据本地性； ...
Spark学习笔记之Spark中的RDD的具体使用
08-25
本文通过详细的示例代码介绍了Spark学习笔记之Spark中的RDD的具体使用，涵盖了RDD的概念、特点、在Spark中的作用、 Spark中的名词解释、创建RDD的两种方式、IDEA开发Spark等多个方面，对大家的学习或者工作具有一定...
spark RDD 论文
09-09
### Spark RDD 基础论文知识点解析 #### 一、引言与背景 - **Spark RDD 的起源**：本文档介绍的是 Spark 中的核心抽象概念——弹性分布式数据集（Resilient Distributed Datasets, RDD），这一概念由加州大学...
Spark RDD Instrocution
07-01
println("There are " + sparkRDD.count() + " contains Spark lines") println("Here are 3 examples:") sparkRDD.take(3).foreach(println) ``` #### 五、Word Count 示例 Word Count 是 Spark 最经典的示例之一...
spark RDD操作详解
09-25
### Spark RDD操作详解 #### 一、RDD概念与特性 **RDD（弹性分布式数据集）**是Apache Spark的核心抽象，代表一种不可变的、可...了解和掌握RDD的基本概念及其操作方式对于高效地使用Spark进行大数据处理至关重要。
spark RDD 论文 中文版
11-14
Spark RDD(Resilient Distributed Datasets)作为Apache Spark的核心组件之一，在大数据处理领域扮演着至关重要的角色。本论文旨在探讨Spark RDD的设计理念及其在大数据处理中的优势，并通过具体的案例来证明其有效性...
RDD的5大特性
coder
05-20 9999
worker里有很多Excutor，真正完成计算的是Excutor,Excutor计算都是在内存进行计算， Excutor里面有partitioner,partitioner里面的数据如果内存足够大的话放到内存中，它是一点一点读的 RDD是分布式数据集，所说RDD就是这个， RDD有5个特点： 1.a list of partiotioner有很多个partiotioner(这里有3个pa
Spark RDD五大特征
weixin_45967421的博客
11-06 2687
1.Rdd由一组分区组成 （partition） 默认是一个block 对应一个分区 2.每个分区都有一个 Task 来处理 ，函数实际上 是作用在每一个分区上的 3.RDD 直接由一系列的依赖关系 宽依赖 与窄 依赖 宽依赖 存在 shuffle 算子分区对应的关系 是一对多 关系 窄依赖 没有 shuffle 算子 分区对应一对一关系 根据宽窄依赖切分 Stage ， Stage 是一组并行计算的 task 4.分区类算子都会作用在 key value 的 RDD 上 5.spark为 task 提.
spark RDD 五大特性
qq68438的博客
08-03 2393
1、有一个分片列表，能够被切分，就是和Hadoop一样，能被切分的数据才能并行操作。         2、有一个函数计算每一个分片，compute函数。         3、对其他的RDD的依赖列表，依赖又分为宽依赖和窄依赖，但不是所有的RDD都有依赖。         4、可选，key-value型的RDD是根据哈希来分区的，类似于mapreduce的Paritioner接口，控制key分
Spark Core之RDD的五大特性
CyAurora的博客
08-10 1123
一.RDD的官网定义 A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable，partitioned collection of elements that can be operated on in parallel. 翻译： 弹性分布式数据集（RDD），Spark中的基本抽象。表示不可变的，分区的可以并行操作的元素集合。 解释： RDD是Resi...
Spark中Transformations、Actions
Noisy Fish的博客
03-12 703
Transformations Transformation 描述 map(func) 通过应用一个函数的所有元素，返回一个新的分布式数据集 filter(func) 通过选择函数返回true的那些元素来形成，返回一个新的数据集 flatMap(func) 与map类似，但每个输入项都可以映射到0个或多个输出项（因此函数应该返回一个序列而不是单...
Spark RDD特点
McGrady_Durant的博客
08-11 1967
RDD: resilient distributed dataset 弹性分布式数据集 *就是一个数据集合 *分布式的: rdd执行并行计算 *弹性:通过算子可以完成对RDD的转换处理 RDD的特点 1.不可变: RDD一旦生成，就不会再改变;根据需要可以做转换生成新的RDD 2分区: RDD是并行计算。rdd本身自带的有分区 计算的时候会通过一个compute函数得到每个分区的数据。如果RDD是通过已有的文件系统构建，则compute函数是读取指定文件系统中的数据，如果RDD是通过其他RDD转换而来，则c
Spark内核之美（二）：RDD的五大主要特性与源码分析
u012860967的博客
04-07 1012
摘要 RDD，弹性分布式数据集，是spark的底层数据结构。RDD是一个容错的，可以被并行操作的数据集合。RDD的特点之一是分布式存储，它的好处就是数据存储在不同的节点上，当需要数据进行计算的时候可以在这些节点上并行操作。弹性表现在节点在存储RDD数据的时候，既可以存储在内存中，也可以存储在磁盘上，也可以两者结合使用。RDD还有个特点就是延迟计算，当是transformation算子的时候，并不...
Spark中，RDD概述（五大属性，弹性介绍，5个特性）
fafa_1111的博客
06-27 8691
RDD特性
Spark RDD特征与宽窄依赖
zhuhailong
09-03 1603
Spark RDD的特征与宽窄依赖
spark的RDD五大特性
05-11
Spark的RDD具有以下五个特性： 1. 不可变性（Immutability）：RDD是不可变的，即一旦创建就不能被修改。如果需要对RDD进行修改，只能创建一个新的RDD。 2. 分区性（Partitioning）：RDD是分区的，即数据被分为多个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值