![](https://img-blog.csdnimg.cn/20210218200358686.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark-RDD
文章平均质量分 93
Spark RDD 相关知识点
这事儿就很秃然
这个作者很懒,什么都没留下…
展开
-
Spark—常用的RDD转换算子
Spark—常用的RDD转换算子提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,原创 2021-02-08 22:22:42 · 640 阅读 · 0 评论 -
Spark—RDD的创建(Local环境)
系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例原创 2021-02-05 22:11:07 · 597 阅读 · 0 评论 -
Spark—关于RDD的并行度和分区(Local环境下测试)
Spark—关于RDD的并行度和分区本文将会跟大家一起简单探讨Spark 中RDD的并行度和分区文章目录Spark—关于RDD的并行度和分区前言一、并发、并行和并行度二、分区1. 从集合(内存)中创建 RDD时的分区规则2.spark 读取文件数据的分区规则总结前言默认情况下,Spark 可以将一个作业切分多个任务后,发送给 Executor 节点并行计算,而能够并行计算的任务数量我们称之为并行度。这个数量可以在构建 RDD 时指定。切记,这里的并行执行的任务数量(Executor计算节点执行的原创 2021-02-05 22:11:31 · 1944 阅读 · 1 评论 -
Spark—常用的RDD行动算子
系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录前言一、pandas是什么?二、使用步骤1. reduce2. collect3. count4. first5. take6. takeOrdered7. aggregate8. fold9. countByKey10. save 相关算子11. foreach总结前言提原创 2021-02-18 10:11:25 · 519 阅读 · 0 评论 -
RDD 序列化
RDD 序列化 我们为了区分RDD的方法和scala集合对象的方法,所以把RDD的方法称为算子,这两者主要区别是:集合对象的方法同一个节点的内存中完成的RDD的方法可以将计算逻辑发送到Executor端(分布式节点)实现分布式处理但要注意的是:从计算的角度, RDD的算子外部的操作都是在Driver端执行的,而算子内部的逻辑代码是在Executor端执行,我们可以通过简单示例,外部内部以及序列化的联系提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录RDD 序列化前言原创 2021-02-18 10:12:01 · 1020 阅读 · 0 评论 -
RDD 的依赖和持久化
RDD 的依赖和持久化本文记录的知识点为RDD 的依赖和持久化的实现文章目录RDD 的依赖和持久化RDD 的血缘和依赖关系血缘关系依赖关系RDD 持久化与容错(checkpoint)RDD cache() & persist() 方法缓存RDD CheckPoint 检查点cache& persist & checkpoint 三者的区别与小结总结提示:以下是本篇文章正文内容,下面案例可供参考RDD 的血缘和依赖关系血缘关系多个连续的RDD的依赖关系,称之为血缘关系原创 2021-02-18 17:03:45 · 260 阅读 · 0 评论