RDD

最新推荐文章于 2024-11-16 22:59:15 发布
最新推荐文章于 2024-11-16 22:59:15 发布
阅读量128 收藏
点赞数
分类专栏： spark RDD 文章标签： RDD spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43924642/article/details/89389259
版权
spark 同时被 2 个专栏收录
3 篇文章 0 订阅
订阅专栏
RDD
1 篇文章 0 订阅
订阅专栏

什么是RDD

1.RDD（Resilient Distributed Dataset）叫做弹性分布式数据集,是最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。
RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中，后续的查询能够重用这些数据，这极大地提升了查询速度。

Dataset：一个数据集合，用于存放数据的。
Distributed：RDD中的数据是分布式存储的，可用于分布式计算。
Resilient：RDD中的数据可以存储在内存中或者磁盘中。

2.RDD的属性
在这里插入图片描述

wuhanshilyj20220219
关注
专栏目录
RDD编程API
08-09
### RDD编程API详解 #### 一、概述 在Apache Spark框架中，弹性分布式数据集（Resilient Distributed Dataset，简称RDD）是基本的数据抽象。它是一个不可变的、分布式的对象集合，可以并行地作用于集群上的节点。...
RDD使用基础
10-19
### RDD使用基础详解 #### 一、RDD简介与特点 **RDD**（Resilient Distributed Dataset）是Apache Spark的核心概念之一，它代表一种只读的、可分区的分布式数据集。RDD具有高度的容错性，并能够透明地利用内存来...
大数据spark学习之rdd概述
05-03
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有RDD 以及...
spark rdd api
04-28
本文详细的描述了spark rdd的api 这些api 应该够我们日常生产使用了
数据湖与数据仓库的区别
2402_85246552的博客
11-13 402
数据湖与数据仓库是两种不同的数据存储和管理方式，它们在多个方面存在显著的区别。
使用 Sparkle 实现 macOS 应用自定义更新弹窗
weixin_42429220的博客
11-13 408
Sparkle 是 macOS 平台上一个优秀的自动更新框架。虽然 Sparkle 提供了默认的更新界面,但有时我们需要自定义更新弹窗以匹配应用的设计风格。本文将介绍如何使用 Sparkle 实现自定义更新界面。首先需要创建一个继承自NSPanelinit() {setupUI()需要创建一个实现// 检查更新// 找到更新// 显示下载进度提供与应用一致的设计风格更好地控制更新流程提供更好的用户体验完整的实现代码可以参考上面的示例。
spark 设置hive.exec.max.dynamic.partition不生效
mrye的博客
11-13 333
spark脚本和程序中设置ive.exec.max.dynamic.partition不生效。
Spark RDD 的 compute 方法
z1941563559的博客
11-15 992
computecompute是一个抽象方法，由具体的 RDD 子类（如HadoopRDD等）实现。：表示 RDD 的一个逻辑分区。：提供了当前任务的上下文信息，如任务 ID、分区 ID 等。：返回一个懒加载的迭代器，用于访问分区内的数据。computecompute是 RDD 中的关键方法，定义了如何读取和处理分区数据。惰性求值与迭代器：通过返回迭代器，compute实现了流式处理和内存优化。扩展性：不同类型的 RDD 通过重写compute，实现适合自己场景的数据读取和计算逻辑。
深入理解 Spark 中的 Shuffle
天冬忘忧的博客
11-13 1150
在 Spark 的大数据处理世界里，Shuffle 是一个极为关键的概念。它在处理分布式大数据量的全局分组、全局排序以及重新分区等任务时起着核心作用。本文将深入探讨 Spark 中的 Shuffle，包括其设计理念、产生 Shuffle 的算子、不同类型的 Shuffle 及其特点、优化以及相关的钨丝计划等内容。
Spark 读取 HDFS 文件时 RDD 分区数的确定原理与源码分析
z1941563559的博客
11-14 419
Spark 通过goalSize和blockSize来平衡分区数量与块大小。分区数会随着文件大小、块大小、期望分区数等参数变化。分区数设定不合理会影响性能，例如分区数过多会导致任务调度开销增加，分区数过少则可能导致计算资源未充分利用。
spark.default.parallelism 在什么时候起作用，与spark.sql.shuffle.partitions有什么异同点？
z1941563559的博客
11-14 502
异同主要影响 RDD 的初始并行度，而则专门控制 Spark SQL 中的 Shuffle 分区数。前者在非 SQL 的 RDD 操作中起作用，后者则仅对 SQL 或 DataFrame API 中的 Shuffle 操作生效。配置建议如果以 RDD 为主，则可以根据集群大小和任务负载调整。如果以 SQL 和 DataFrame 操作为主，特别是需要进行大量 Shuffle 的场景，可以适当调整来优化性能（如减少分区数以降低小任务开销，或增加分区数以加快数据处理速度）。
使用python-Spark使用的场景案例具体代码分析
IT晓白
11-14 554
• 日志分析：互联网公司每天会产生海量的服务器日志，如访问日志、应用程序日志等。Spark可以高效地读取这些日志文件，对数据进行清洗（例如去除无效记录、解析日志格式）、转换（例如提取关键信息如用户ID、访问时间、访问页面等）和分析（例如统计页面访问量、用户访问路径等）。• 数据仓库ETL（Extract，Transform，Load）：在构建数据仓库时，需要从各种数据源（如关系型数据库、文件系统等）提取数据，进行清洗、转换和加载到数据仓库中。
[pyspark] pyspark中如何修改列名字
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本/工具书
11-14 305
使用这个和二者有什么不同呢?
使用dataGrip连接spark
最新发布
weixin_52642840的博客
11-16 249
spark在dataGrip的启动
Spark RDD中的迭代器
z1941563559的博客
11-15 636
迭代器 (Iterator)是 Spark 中用于处理每个分区数据的核心组件。它提供了对分区内元素的顺序访问，并且是惰性计算（lazy evaluation）的实现基础。在 Spark 中，RDD 的每个分区的数据在逻辑上是通过迭代器进行操作的，迭代器使得数据可以逐条处理，减少内存开销。Spark RDD 的迭代器是其惰性求值、高效内存使用的关键。源码层面：迭代器的惰性机制通过compute和父迭代器链实现。优势：内存友好、高效流式处理，适合大规模数据处理。注意。
mac2019环境 Airflow+hive+spark+hadoop本地环境安装
G.D.Retop的专栏
11-16 649
本地安装可分为两个部分，mac软件环境， python开发环境ps: 安装过程参考chatgpt、csdn文章。
spark性能优化调优指导性文件
Hacker_Oldv的博客
11-16 753
没有任务的并行性，整个队列资源将被独占消耗，其他同学的任务无法执行。由于集群的 Spark History Server 还没安装调试好，没法通过 spark web UI 查看历史任务的可视化执行细节，所以我写了个小脚本分析了下前后具体的计算耗时信息，可以一目了然的看到是哪个 stage 的问题，有针对性的优化。例如，如果需要加载大的字典文件，可以增大executor中 StorageMemory 的大小，这样就可以避免全局字典换入换出，减少GC，在这种情况下，我们相当于用内存资源来换取了执行效率。
pySpark乱码
qq_40382400的博客
11-13 208
python的变量包含中文，用format放入SQL中时，出现乱码。使用python3，并且把所有print，改成带括号的。python2默认编码是ascii。
Spark RDD API 实战指南
"Spark RDD API 是Apache Spark的核心数据结构，它代表了只读、可分区的分布式数据集。本文深入探讨了Spark RDD API的常用功能，这些功能在日常开发和生产环境中非常实用。通过了解和掌握这些API，可以有效地处理大...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值