Spark RDD简记

已于 2023-10-24 21:08:38 修改
阅读量608 收藏
点赞数
分类专栏： 大数据开发 文章标签： spark 大数据 分布式 1024程序员节
于 2023-10-12 17:08:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/young_it/article/details/133793147
版权

RDD概述

1.什么是RDD

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。

2.RDD特点

RDD表示只读的分区的数据集，对RDD进行改动，只能通过RDD的转换操作，由一个RDD得到一个新的RDD，新的RDD包含了从其他RDD衍生所必需的信息。

RDDs之间存在依赖，RDD的执行是按照血缘关系延时计算的。如果血缘关系较长，可以通过持久化RDD来切断血缘关系

Young_IT
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark并行机制简记
的专栏
09-26 734
几个基础概念 RDD分区：Spark中的RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区（partitions），这些分区被分发到集群中的不同节点上进行计算。每个分区对应需要启动一个task去执行该分区的数据计算。 Executor：是spark任务（task）的执行单元 executor下的cores：顾名思义这个参数是用来指定executor的cpu内核个数，分配更多的内核意味着executor并发能力越强，能够同时执行更多的task。 下面是一个具体的case 分区数：表示同
Spark计算工具类
压缩疯雷的博客
09-12 370
Vector vectors.txt 1 2.3 4.5 3 3.1 5.6 4 3.2 7.8 处理vectors.txt文件RDD[String]->RDD[Vector] package com.yasuofenglei import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.SparkConf im...
Spark RDD 核心总结
zdy0_2004的专栏
03-22 637
http://www.cnblogs.com/arachis/p/SparkRDD.html 摘要： 　　1.RDD的五大属性 　　　　1.1 partitions(分区) 　　　　1.2 partitioner(分区方法) 　　　　1.3 dependencies(依赖关系) 　　　　1.4 compute(获取分区迭代列表) 　　　　1.5 pre
Spark学习四：Spark架构设计和RDD的stage划分
patrick_big_data的博客
02-25 510
文章目录架构设计Spark运行基本流程RDD之间的依赖关系stage的划分RDD运行过程参考网址 架构设计 学习完Spark学习二：spark基础理论知识，我们可以对Spark的一些组件和术语应该有了基本的认识，下面介绍Spark的架构设计。本节内容主要参考厦门大学林子雨老师的Spark课程。非常感谢林子雨老师！ 如下图所示。 Spark运行架构包括集群资源管理器（Cluster Manager）...
Spark内核之美（二）：RDD的五大主要特性与源码分析
u012860967的博客
04-07 1017
摘要 RDD，弹性分布式数据集，是spark的底层数据结构。RDD是一个容错的，可以被并行操作的数据集合。RDD的特点之一是分布式存储，它的好处就是数据存储在不同的节点上，当需要数据进行计算的时候可以在这些节点上并行操作。弹性表现在节点在存储RDD数据的时候，既可以存储在内存中，也可以存储在磁盘上，也可以两者结合使用。RDD还有个特点就是延迟计算，当是transformation算子的时候，并不...
Spark3.0版本--chapter2.7--RDD持久化
dxy
02-25 1592
加粗样式@TOC llll 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增加了 图片拖拽
宽依赖和窄依赖_Spark RDD中的依赖关系：宽依赖和窄依赖narrow/widedependency
weixin_42310670的博客
02-12 1813
前言：前面我们讲过，RDD的转化Transformation操作是一个RDD生成另一个新的RDD的过程，那么新的RDD必然依赖原来的RDD。那么RDD的依赖分为几种，分别是什么含义呢？为什么要分类呢？作用是什么？先不说概念，看个例子：请问图(1)和图(2)在对RDD的依赖上有什么区别呢？(1)filter并不依赖map()生成的RDD的所有分区，也就是说即使map没有全部完成我也可以开始filte...
spark DataFrame 相关操作简记
frogbar的博客
01-23 546
创建Dataset和Dataframe 最简单的方式就是使用spark.range方法来创建一个Dataset val DS = spark.range(5, 100, 5) 创建DataFrame val DF = spark.createDataFrame(List(("Scala", 35), ("Python", 30), ("R", 15), ("Java", 20))) 
Spark的持久化简记
chenjieit619的博客
12-01 388
摘要： 　　1.spark 提供的持久化方法 　　2.Spark的持久化级别 　　3.如何选择一种最合适的持久化策略 内容： 1.spark 提供的持久化方法 如果要对一个RDD进行持久化，只要对这个RDD调用cache()和persist()即可。 在第二次计算RDD是就不用再重新计算了，从而提高spark作业效率 对于persist()方法而言，我们可以根据不同的业务场
sparkRDD函数大全
02-28
spark rdd函数大全。spark rdd操作为core操作，虽然后续版本主要以dataset来操作，但是rdd操作也是不可忽略的一部分。
Spark rdd 简易教程
05-10
Apache Spark是加州大学伯克利分校AMPLab于2009年诞生的分布式计算框架，在2013年被捐赠给Apache软件基金会，并于2014年成为Apache的顶级项目。Spark相较于传统的MapReduce批处理计算，可以提供高达上百倍的性能提升...
Spark RDD详解
01-07
Spark与Apache Hadoop有何关系？ Spark是与Hadoop数据兼容的快速通用处理引擎。它可以通过YARN或Spark的Standalone在Hadoop集群中运行，并且可以处理HDFS、Hbase、Cassandra、Hive和任何Hadoop InputFormat中的数据...
Spark RDD.docx
03-29
Spark 的核心概念是 RDD（Resilient Distributed Datasets），这是一种高度抽象的数据结构，设计用于支持大规模数据处理。RDD 是一种不可变、容错的分布式数据集，具备弹性、分布式、基于内存的特性，允许在计算过程...
spark RDD 论文
09-09
### Spark RDD 基础论文知识点解析 #### 一、引言与背景 - **Spark RDD 的起源**：本文档介绍的是 Spark 中的核心抽象概念——弹性分布式数据集（Resilient Distributed Datasets, RDD），这一概念由加州大学...
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例
永远好奇，无限进步！
08-22 984
上节研究了SparkSQL中的SparkSession、SparkSQL中的RDD、DataFrame、DataSet，同时研究了三者之间是如何进行互相转换的。本节继续研究SparkSQL，研究当中的Action和Transformation操作，附带详细的解释与测试案例截图。 备注：Dataset默认的存储级别是 MEMEORY_AND_DISK。我们进入 spark-shell 进行测试。启动 Spark-Shell 继续进行测试。保存并上传到服务器上。
spark全面个人总结（20个面试点）非网文 持续更新中
最新发布
weixin_44702289的博客
08-22 273
Spark streaming 是spark用于处理实时数据流的组件，它允许你将实时数据流分割成一系列小的批处理，然后在每个微批上运行你的处理逻辑。根据分区策略，每个执行器将数据按照键分组，并发送到相应的目标分区，对每个执行器内部的数据根据键进行排序，写入磁盘，任务调度，决定哪些任务需要拉取哪些shuffle文件，数据拉取、数据合并、数据读取。spark分区是根本设置的分区策略进行分区的，分区策略有hash分区、range分区(按照指定键值的范围来划分分区)、自定义分区。请详细解释它们之间的区别。
介绍 Apache Spark 的基本概念和在大数据分析中的应用
lw的博客
08-19 362
弹性分布式数据集（Resilient Distributed Dataset，简称RDD）：RDD 是 Spark 提供的一种抽象数据类型，代表了分布式的、不可变的、可以并行操作的数据集合。转换操作：Spark 提供了一系列的转换操作，如 map、filter、reduce、join 等，用于对 RDD 进行转换和操作。它提供了丰富的API，可以支持数据处理、机器学习、图处理和流处理等多种任务。批处理：Spark 可以处理大规模的批量数据，并提供了丰富的转换和操作操作，如数据清洗、数据转换、数据聚合等。
大数据学习-Spark基础入门
窦再兴的博客
08-19 455
Stack Overflow的数据可以看出，2015年开始Spark每月的问题提交数量已经超越Hadoop，而2018年Spark Python版本的API PySpark每月的问题提交数量也已超过Hadoop。2019年排名Spark第一，PySpark第二；而十年的累计排名是Spark第一，PySpark第 三。按照这个趋势发展下去，Spark和PySpark在未来很长一段时间内应该还会处于垄断地位。尽管Spark相对于Hadoop而言具有较大优势，但Spark并不能完全替代Hadoop。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值