Spark RDD入门

最新推荐文章于 2023-12-05 07:30:00 发布

likaiasddsa

最新推荐文章于 2023-12-05 07:30:00 发布

阅读量201

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/likaiasddsa/article/details/89925878

版权

大数据专栏收录该内容

31 篇文章 1 订阅

订阅专栏

Spark RDD 入门

什么是RDD

Resilient Distributed Dataset (RDD): 弹性分布式数据集。Spark 中的一个基础抽象概念。它表示一个 不可变的、分区的、可以并行计算的元素的集合。这个类包含了所有RDD 可以进行的基础的操作。例如：map、filter、persist。

RDD函数扩展

Spark 通过隐式转换的方法提供这些函数。

PairRDDFunctions： 提供键值对类型的 RDD[(K, V)] 的常用操作。例如：groupByKey、join。
DoubleRDDFunctions： 提供Double类型的 RDD[ Double ] 的常用操作。例如：sum等计算。
SequenceFileRDDFunctions： 提供键值对类型的 RDD[(K, V)] 的创建 Hadoop SequenceFile 的操作。例如：saveAsSequenceFile。

Spark 的所有调度和执行都是基于这些函数。允许每个RDD可以通过自己实现的方法去计算自己。甚至我们可以自定义RDD。

RDD 五大特性

1.分区的列表
2.计算每个分区的函数
3.RDD依赖的其他的RDD 列表
4.键值对RDD的分区函数
5.计算每个分区时的优先位置列表。

RDD创建

创建RDD有两种方法：并行化驱动程序中的现有集合，或引用外部存储系统中的数据集，例如共享文件系统，HDFS，HBase或提供Hadoop InputFormat的任何数据源。

val data = Array(1, 2, 3, 4, 5)
val distData = sc.parallelize(data)

val distFile = sc.textFile(“data.txt”)

RDD操作

RDD支持两种类型的操作：转换（从现有数据集创建新数据集）和操作（在数据集上运行计算后将值返回到驱动程序）。例如，map是一个转换，它通过一个函数传递每个数据集元素，并返回一个表示结果的新RDD。另一方面，reduce是一个使用某个函数聚合RDD的所有元素并将最终结果返回给驱动程序的动作（尽管还有一个reduceByKey返回分布式数据集的并行）。

Spark中的所有转换都是惰性的，因为它们不会立即计算结果。相反，他们只记得应用于某些基础数据集的转换（例如文件）。仅当操作需要将结果返回到驱动程序时才会计算转换。这种设计使Spark能够更有效地运行

转换

map(func)：返回通过函数func传递源的每个元素形成的新分布式数据集。

filter(func)：返回通过选择func返回true 的源元素形成的新数据集。

flatMap(func)：与map类似，但每个输入项可以映射到0个或更多输出项（因此func应该返回Seq而不是单个项）。

mapPartitions(func)：与map类似，但在RDD的每个分区（块）上单独运行，因此当在类型T的RDD上运行时，func必须是Iterator => Iterator 类型。

groupByKey([numPartitions])：在（K，V）对的数据集上调用时，返回（K，Iterable ）对的数据集。
groupByKey 效率较低 ,尽量减少使用

reduceByKey(func, [numPartitions])：当调用（K，V）对的数据集时，返回（K，V）对的数据集，其中使用给定的reduce函数func聚合每个键的值，该函数必须是类型（V，V）=> V.同样groupByKey，reduce任务的数量可通过可选的第二个参数进行配置。

sortByKey([ascending], [numPartitions])：当在K实现Ordered的（K，V）对的数据集上调用时，返回按键按升序或降序排序的（K，V）对的数据集，如布尔ascending参数中所指定的。