【博学谷学习记录】超强总结，用心分享| RDD的基本知识

已于 2023-06-08 11:08:53 修改
阅读量329 收藏
点赞数
文章标签： spark Powered by 金山文档
于 2023-02-05 22:56:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq331570870/article/details/128894721
版权
本文详细介绍了Spark中的RDD（弹性分布式数据集），包括RDD的基本介绍、五大特性和特点，以及如何通过并行化本地集合和读取外部数据源来构建RDD。RDD作为Spark的核心组件，解决了传统计算模型的不足，提供了高效迭代计算和内存计算的能力。
摘要由CSDN通过智能技术生成

1. RDD的基本介绍

1.1 什么是RDD

RDD: 弹性分布式数据集

出现目的: 为了能够支持更加高效的迭代计算操作

背景说明:

早期的计算模型: 单机计算模型

例如: MySQL / Excel

单机的计算模型

仅适用于: 小量数据集的处理操作

在计算操作的时候, 只有一个进程, 在一个进程中通过不断的迭代完成最终的计算操作

随着不断的发展, 整个社会数据量都在不断的增大, 原有单机的计算模型无法应对未来的数据处理需要, 怎么办呢? 分布式计算模型

核心: 采用多节点处理, 将一个任务拆分为N多个子任务, 分别运行在不同的节点上进行并行的处理,各个节点计算完成后, 将结果汇总处理即可 (分而治之)

诞生了相关的分布式计算框架: MR Spark Flink Storm ......

MR和Spark都是一个大规模的分布式计算引擎, 都可以处理大规模的数据;

MR存在的弊端: 1- 执行效率低 2- 迭代计算不方便

正因为MR存在一些弊端, 对于市场来说, 迫切需要一款能够解决MR痛点的架构:

1- 解决多次磁盘的IO问

最低0.47元/天 解锁文章
奔跑如风
关注
spark读取excel表格
我的博客
10-29 9855
参考资料：https://blog.csdn.net/qq_38689769/article/details/79471332 参考资料：https://blog.csdn.net/Dr_Guo/article/details/77374403?locationNum=9&fps=1 pom.xml: <!--读取excel文件--> <dep...
windows上pyspark glom()或map之后collect报错
NICOLENICOLE_的博客
06-11 1070
pyspark报错
详解RDD基本概念、RDD五大属性
热门推荐
大数据
07-02 1万+
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD是spark core的底层核心。Dataset:RDD 可以不保存具体数据, 只保留创建自己的必备信息, 例如依赖和计算函数；RDD 也可以缓存起来, 相当于存储具体数据。Distributed： RDD 支持分区, 可以运行在集群中。Resilient：RDD 支持高效的容错；RDD 中的数据即可以缓存在内存中
将rdd存储到本地的一个文件中
wtt561111的专栏
05-10 1万+
spark中，将文件存储为单个文件
RDD输出到一个文件中
怀梦远航的专栏
10-10 6980
在使用Spark的机器学习模型时，有时为了方便观看输出数据，我们需要将RDD输出到一个文件中，比如我们需要将预测的label输出到一个文件，这样方便我们观看每一个样本的label。你若是输出到多个文件，看起来很不方便。尤其当你需要把预测的label拷贝原始数据所在的excel表格时，若label输出到多个文件，拷贝也很不方便。 但是saveAstextFile默认是将RDD输出到多个文件的，因此
【博学谷学习记录】超强总结，用心分享| RDD的转换算子
我爱骑呆马的专栏
02-12 311
spark
[博学谷学习记录]超强总结，用心分享|RDD的共享变量
weixin_43814165的博客
02-20 110
RDD的共享变量。
【博学谷学习记录】超强总结，用心分享| RDD的内核调度
我爱骑呆马的专栏
02-26 377
spark
【博学谷学习记录】超强总结，用心分享| SparkSQL的DataFrame详解
我爱骑呆马的专栏
03-12 514
dataframe
Python库 | rdd-0.0.1.tar.gz
04-14
资源分类：Python库 所属语言：Python 资源全名：rdd-0.0.1.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
PySpark | RDD
liujiesxs的博客
06-23 2756
Transformation算子、Action算子、分区操作算子
RDD.glom的用法
金字塔上的蜗牛的专栏
03-14 5807
官方文档： glom() Return an RDD created by coalescing all elements within each partition into a list. >>> rdd = sc.parallelize([1, 2, 3, 4], 2) >>> sorted(rdd.glom().collect()) [[1, 2], [3, 4]]
【Spark】RDD的序列化问题
克里斯的博客
01-23 2162
发现问题 object serialDemo { def main(args: Array[String]): Unit = { val sparConf = new SparkConf().setMaster("local").setAppName("WordCount") val sc = new SparkContext(sparConf) val rdd: RDD[String] = sc.makeRDD(Array("hello world", "hello sp
[含文档+PPT+源码等]精品大数据项目-python基于Spark实现的新闻推荐系统的设计与实现
weixin_41915110的博客
11-15 458
数据库管理工具：phpstudy/Navicat或者phpstudy/sqlyog后台管理系统涉及技术：后台使用框架：Django前端使用技术：Vue,HTML5,CSS3、JavaScript等数据库：Mysql数据库本系统功能完整，适合作为计算机项目设计参考 以及学习、就业面试、商用皆可。下面是资料信息截图：功能介绍：面是系统运行起来后的一些截图：
Spark：大数据处理的强大引擎
Yes_water的博客
11-15 551
Apache Spark 是一个专为大规模数据处理而设计的快速、通用、可扩展的大数据分析计算引擎。它诞生于 2009 年，由美国加州伯克利大学的 AMP 实验室开发，2013 年被纳入 Apache 开源项目，并迅速成为顶级项目。Spark 被认为是 Hadoop 框架的升级版，主要原因在于其功能强大且独特。首先，它在性能方面表现优异。内存计算下，Spark 比 Hadoop 快 100 倍，在磁盘上也比 Hadoop 快 10 倍。
Spark RDD 的 compute 方法
最新发布
z1941563559的博客
11-15 937
computecompute是一个抽象方法，由具体的 RDD 子类（如HadoopRDD等）实现。：表示 RDD 的一个逻辑分区。：提供了当前任务的上下文信息，如任务 ID、分区 ID 等。：返回一个懒加载的迭代器，用于访问分区内的数据。computecompute是 RDD 中的关键方法，定义了如何读取和处理分区数据。惰性求值与迭代器：通过返回迭代器，compute实现了流式处理和内存优化。扩展性：不同类型的 RDD 通过重写compute，实现适合自己场景的数据读取和计算逻辑。
Spark 共享变量：广播变量与累加器解析
天冬忘忧的博客
11-11 1224
在 Spark 大数据处理框架中，共享变量是一个非常重要的概念。当我们处理一些涉及到不同计算节点（Executor）需要访问相同数据的场景时，共享变量就发挥了关键作用。本文将深入探讨 Spark 中的广播变量和累加器，包括它们的使用场景、原理以及如何在实际代码中应用。
深入理解 Spark 中的 Shuffle
天冬忘忧的博客
11-13 1118
在 Spark 的大数据处理世界里，Shuffle 是一个极为关键的概念。它在处理分布式大数据量的全局分组、全局排序以及重新分区等任务时起着核心作用。本文将深入探讨 Spark 中的 Shuffle，包括其设计理念、产生 Shuffle 的算子、不同类型的 Shuffle 及其特点、优化以及相关的钨丝计划等内容。
Spark 读取 HDFS 文件时 RDD 分区数的确定原理与源码分析
z1941563559的博客
11-14 309
Spark 通过goalSize和blockSize来平衡分区数量与块大小。分区数会随着文件大小、块大小、期望分区数等参数变化。分区数设定不合理会影响性能，例如分区数过多会导致任务调度开销增加，分区数过少则可能导致计算资源未充分利用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值