Spark编程指引(三)-----------------RDD操作，shuffle和持久化

最新推荐文章于 2025-05-18 17:54:46 发布
最新推荐文章于 2025-05-18 17:54:46 发布
阅读量1.7w 收藏 3
点赞数 1
分类专栏： 大数据 文章标签： hadoop spark 大数据 spark 分布式 聚合数据 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/happyanger6/article/details/46552823
版权
本文介绍了Spark中键值对的处理，重点讲解了reduceByKey操作和shuffle过程，包括shuffle的原理、挑战及如何优化。此外，还探讨了RDD的持久化机制，提供了一些建议来选择合适的存储级别，并阐述了如何手动删除缓存的RDD。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

处理键－值对

尽管Spark的大部操作支持包含所有对象类型的RDDs,但是还有一些操作只支持键－值对的的RDDs.最常见的是类似"洗牌"的操作，比如以键值来分组或聚合所有的元素。

在Scala里，这些操作对包含2元组的RDD是自动可用的。（Scala语言内置的元组，通过(a,b)这样的形式创建）。对键－值对可用的操作在PairRDDFunctions类里，将自动包含在含有2元组的RDD里。

比如，下面的代码使用在键－值对上使用reduceByKey操作来计算文件中同一行出现的次数。

val lines = sc.textFile("data.txt")
val
了解本专栏 订阅专栏 解锁全文 超级会员免费看
《2025-2030年全球及中国人工智能芯片（AI芯片）行业发展前景展望与投资战略规划分析报告》1
AI天才研究院
02-17 1355
人工智能技术正以前所未有的速度推动全球科技革命，其中作为人工智能基础载体的 AI 芯片在推动智能计算、数据处理及各类智能应用中扮演着至关重要的角色。随着 5G、物联网、大数据以及云计算等技术的不断发展，人工智能芯片不仅在传统计算平台中得到广泛应用，同时在边缘计算、智能终端、自动驾驶、智慧医疗等领域也日益凸显其核心竞争力。本报告针对 2025-2030 年期间全球及中国人工智能芯片市场的发展现状、未来趋势、技术演进、政策环境、竞争态势以及投资战略进行了深入调研与系统分析。
端侧LLM OS + MCP革命：垂直APP的消亡与生态重构的未来
z_play_du
04-01 958
这场由LLM OS+MCP引发的生态革命，本质是从功能中心化到能力网络化的范式迁移。垂直APP不会完全消失，但必须重新定位自身在价值网络中的坐标。正如互联网颠覆了传统零售却催生了新物种，MCP时代也将孕育出我们尚未想象的新形态服务。谁掌握了协议标准与意图理解能力，谁就掌握了下一个十年的入口霸权。参考资料[1] Anthropic MCP技术白皮书, 2025[2] 腾讯新闻《MCP：Crypto+AI下一个爆发点？[3] 搜狐《2024年中国AI大模型应用前景与产业变革》
国产数据库：从技术追赶到生态崛起的四十年征程
啥都没有的博客简介
03-26 1376
从“可用”到“好用”，国产数据库的崛起不仅是技术的胜利，更是生态与信心的重构。随着数字经济的深化，国产数据库需在开源协作、标准制定、人才培养等方面持续投入，方能真正实现从“跟随者”到“引领者”的跨越。正如OceanBase创始人阳振坤所言：“我们不再仰望星空，因为我们已成为星空的一部分。参考文献国产数据库发展现状分析-CSDN博客从“卡脖子”到“主导”，国产数据库40年演变！
破局者DeepSeek：从技术追赶到全球领跑的三大颠覆密码
WL_ZHG的博客
02-24 468
2025开年之际，DeepSeek这款中国AI大模型不仅登上全球权威评测榜首，更引发硅谷科技巨头的战略级关注。④技术里程碑：2024年11月，DeepSeek-R1在斯坦福HELM评测中，以1/7的算力消耗达到GPT-4 Turbo 90%的核心能力，被《MIT科技评论》誉为"算法红利的教科书案例"。自2024年5月发布DeepSeek-V2引发行业震动以来，其技术路线始终贯彻着「以算法革命对冲算力差距」的颠覆思维。②通过硬件感知的token动态剪枝，在保持95%精度的前提下，将推理显存消耗降低67%
中国数据库的崛起：从本土化挑战到全球化机遇
繁依Fanyi的博客
08-24 1933
回顾中国数据库技术的发展历程，我们可以看到一个从无到有、从追随到领先的壮丽篇章。从20世纪80年代的初步引进和探索，到90年代的技术突破与自主创新，再到2000年代的快速成长，以及面对国际竞争的严峻挑战，中国数据库行业一路走来，积累了丰富的经验和深刻的教训。首先，技术创新始终是中国数据库行业发展的核心动力。无论是在起步阶段对国外技术的引进和学习，还是在崛起阶段关键技术的自主突破，技术始终是推动行业发展的重要引擎。正是这些技术创新，使得国产数据库逐渐摆脱了对国外技术的依赖，走上了自主发展的道路。
破局与崛起：国产BIM信创如何重塑建筑业数字未来？——从技术替代到生态构建的全景解读
lgf228的专栏
04-27 942
在全球建筑业数字化转型浪潮中，国产BIM信创技术以自主可控、场景适配、生态协同为核心优势，逐步打破国外技术垄断，推动行业从“工具替代”迈向“生态重构”。本文从技术突破、应用场景、标准体系及政策驱动多维度展开，结合湖北东湖实验室、安徽省智能软件园等典型案例，深入揭示国产BIM如何通过大场景建模、全生命周期管理和生态构建路径重塑数字未来。未来，伴随IFC标准自主化、仿真求解器研发及产学研协同深化，国产BIM有望实现从“跟跑”到“领跑”的历史跨越。
国产AI崛起：DeepSeek的技术优势与生态展望
layneyao的博客
05-13 1276
国产AI崛起：DeepSeek的技术优势与生态展望
从跟跑到领跑：九天画芯 FSHD 技术的中国显示突围之路
weixin_53305836的博客
05-07 953
在全球化竞争加剧的今天，中国科技企业正以颠覆性创新打破技术垄断，而九天画芯无疑是投影产业中引领变革的重要力量。作为一家以 "构建中国自己的底层显示技术" 为使命的民族品牌，九天画芯凭借自主研发的场序液晶技术（FSHD），不仅撕开了美国 DLP 与日本 3LCD 技术构筑的壁垒，更用十年的技术深耕与生态布局，向世界递交了一份 "中国智造" 的亮眼答卷。
deepseek 技术的前生今世：从开源先锋到AGI探索者
weixin_47696437的博客
03-28 1055
DeepSeek的崛起证明，开源协作与效率创新可成为后发者超越算力霸权的关键。其技术路径不仅降低了AGI研发门槛，更推动了中国在全球AI生态中的话语权重构。未来，如何在“性能巅峰”与“技术普惠”间找到平衡，将决定DeepSeek能否真正打开AGI时代的大门。
从“奋力追赶”到“略有小成”，中国根技术要如何“破局”？
光谷码农
11-02 365
整理 | 郑丽媛出品 | CSDN（ID：CSDNnews）「根深才能叶茂，本固方得枝荣。」伴随着新一轮科技革命与产业变革的快速展开，越来越多人开始意识到，软件产业就像一棵参天大树：枝繁叶茂的上层应用，需要大地之下基础软件的强劲发达——“根技术”的概念，也由此诞生。所谓根技术，就是能衍生出并支撑着一个或多个技术簇的技术，可持续为整个技术树提供滋养，具体包括操作系统、数据库、中间件和编程语言等：前年...
华为简史——三十年管理变革之路：从“土狼”到全球巨擘的进化密码 【好书推荐】
一键难忘的博客
03-15 5519
在这关键的15 年，华为的经营管理理念在反复的破与立之间得到升华，通过不断进行管理哲学的总结与思辨、组织架构的调适与变革、管理体系的构建与优化，最终完成了历时14 年的巨大的管理工程变革，并培养出一个强大的、具有自我批判意识和能力的职业化管理阶层。这个阶段的华为，没有自满，没有止步，不断自我批判，不断夯实和优化管理体系，从跟随国外行业巨头，最终走向无人区，成为真正意义上的行业领导者，建立行业标准和规则，引领行业走向未知而广阔的未来。在中国科技企业的星辰大海中，华为的成长史堪称一部“自我革命”的教科书。
特斯拉开放专利（看似能量壁垒）后，电动车产业集体跨越技术鸿沟，渗透率从1%到10%仅用7年（传统行业需20年）
百态老人的博客
02-11 1286
特斯拉专利开放的附加条件（如对等开放专利）对行业竞争格局的影响是多方面的。一方面，它促进了技术创新、降低了进入门槛、推动了行业标准的统一，并提升了特斯拉自身的声誉和市场地位；另一方面，它也可能对特斯拉自身的商业利益产生负面影响，并对中国新能源汽车市场的长期发展带来一定的局限性。因此，特斯拉的专利开放策略需要在促进行业发展和保护自身利益之间找到平衡点。
AI大模型新突破：GPT-5引领多模态交互新时代
lhx17673139267的博客
08-10 1082
近期，AI大模型领域迎来了一系列令人瞩目的新突破，特别是GPT-5的即将发布，预示着多模态交互时代的到来。OpenAI作为行业领头羊，预计将在今年晚些时候推出GPT-5，该模型将支持视频、音频等多模态输入与输出，彻底颠覆内容创作与交互方式。与此同时，国内厂商如科大讯飞和商汤科技也在加速技术创新，展现出强劲的竞争力。本文将从多个维度深入分析这一领域的新进展，探讨其对未来科技、产业和社会的影响。
阿里通义千问测评：国内领先，加速追赶GPT
阿里通义千问的出现，是中国AI技术发展的一个里程碑，它代表了国内一线水平，并在追赶国际先进模型的过程中展现出强劲的势头。随着技术的不断迭代和优化，我们可以期待通义千问在未来的应用场景将更加广泛，对社会...
Void: Cursor 的开源平替
05-14 1008
在你的代码库中使用 AI 代理，检查点并可视化更改，并将任何模型或主机本地化。Void 直接向提供者发送消息，而不会保留你的数据。拥有与 Cursor 几乎一样强大的编程功能，最大的不同 Void 是可直接连接任何 AI 模型或使用本地部署模型，无需再经过第三方服务器。
Nginx 动静分离在 ZKmall 开源商城静态资源管理中的深度优化
05-14 1022
在 B2C 电商高并发场景下，静态资源（图片、CSS、JavaScript 等）的高效管理直接影响页面加载速度与用户体验。ZKmall开源商城通过对 Nginx 动静分离技术的深度优化，将静态资源响应速度提升 65%，带宽成本降低 40%，成功支撑日均千万级访问量下的系统稳定运行。其核心优化策略涵盖缓存策略精细化、资源加载智能化、负载均衡动态化三大维度，为电商静态资源管理提供了可复用的技术方案。
【图像生成大模型】Wan2.1：下一代开源大规模视频生成模型
最新发布
weixin_43988131的博客
05-18 471
Wan2.1：下一代开源大规模视频生成模型
团结引擎开源车模 Sample 发布：光照渲染优化 & 动态交互全面体验升级
unityofficial的博客
05-14 834
光照、材质与交互效果的精细控制，通常意味着复杂的技术挑战，但借助 Shader Graph 14.1.0(已内置在团结引擎官方 1.5.0 版本中)，这一切都变得简单易用。通过最新团结引擎官方车模 Sample，开发者能切身感受到全新光照优化与编辑功能的便捷性，直观地调整每个渲染细节。借助 Shader Graph，复杂的渲染效果也能轻松创建，并实现实时调整，满足快速、高效的创作需求。
开源的跨语言GUI元素理解8B大模型：AgentCPM-GUI
直达开源前线，冲冲冲！
05-15 901
AgentCPM-GUI 是由清华大学自然语言处理实验室与 ModelBest 联合开发的开源大模型，基于 MiniCPM-V 架构，拥有 80 亿参数，专为移动终端 GUI 操作设计。该模型通过接收屏幕截图作为输入，自动执行用户任务，具备高质量 GUI 定位、中文应用适配、强化推理规划和紧凑动作空间设计等关键特性。在基准测试中，AgentCPM-GUI 在多个指标上表现优异，尤其在复杂 GUI 场景下的任务执行能力显著领先。其技术架构结合了多模态融合和强化学习，训练数据涵盖大规模双语 Android 数据
PaddlePaddle
07-27
PaddlePaddle是一个开源的深度学习平台，可以用于构建和训练深度学习模型。如果你想使用PaddlePaddle，可以通过源码编译的方式来安装。首先，你需要在Git Bash中执行以下两条命令来将PaddlePaddle的源码克隆到本地，并进入Paddle目录： ``` git clone https://github.com/PaddlePaddle/Paddle.git cd Paddle ``` 接下来，你可以根据自己的需求进行编译。如果你使用的是Windows系统，可以使用源码编译来安装符合你需求的PaddlePaddle版本。具体的编译步骤可以参考官方文档中的Windows下源码编译部分\[2\]。 如果你想在docker镜像中编译PaddlePaddle，可以使用以下命令启动docker镜像并进行编译。如果你需要编译CPU版本，可以使用以下命令： ``` sudo docker run --name paddle-test -v $PWD:/paddle --network=host -it hub.baidubce.com/paddlepaddle/paddle:latest-dev /bin/bash ``` 如果你需要编译GPU版本，可以使用以下命令： ``` sudo nvidia-docker run --name paddle-test -v $PWD:/paddle --network=host -it hub.baidubce.com/paddlepaddle/paddle:latest-dev /bin/bash ``` 以上是关于使用源码编译PaddlePaddle的一些基本步骤和命令。你可以根据自己的需求和操作系统选择适合的方式来安装PaddlePaddle。 #### 引用[.reference_title] - *1* *2* *3* [《PaddlePaddle从入门到炼丹》一——新版本PaddlePaddle的安装](https://blog.csdn.net/qq_33200967/article/details/83052060)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

self-motivation

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值