超级会员免费看
本文详细介绍了Spark中的RDD编程，包括编程模型、RDD的创建和转换。重点讲解了如何从集合和外部存储创建RDD，以及各种转换操作如map、filter、reduceByKey等的用法。此外，还对比了不同转换操作之间的区别，如map与mapPartitions、reduceByKey与groupByKey等。
文章目录
RDD编程
1、编程模型
在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)，这样在运行时可以通过管道的方式传输多个转换。
要使用Spark，开发者需要编写一个Driver程序，它被提交到集群以调度运行Worker，如下图所示。Driver中定义了一个或多个RDD，并调用RDD上的action，Worker则执行RDD分区计算任务。
2、RDD的创建
在Spark中创建RDD的创建方式可以分为三种：从集合中创建RDD；从外部存储创建RDD；从其他RDD创建。
2.1 从集合中创建
从集合中创建RDD，Spark主要提供了两种函数：parallelize和makeRDD
1）使用parallelize()从集合创建</
订阅专栏 解锁全文
扫一扫
1857
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
