RDD编程模型和创建

 

1 编程模型

在Spark 中，RDD 被表示为对象，通过对象上的方法调用来对RDD 进行转换。经过一系列的transformations 定义RDD 之后，就可以调用actions 触发RDD 的计算，action 可以是向应用程序返回结果(count, collect 等)，或者是向存储系统保存数据saveAsTextFile 等)。在Spark 中，只有遇到action，才会执行RDD 的计算(即延迟计算)，这样在运行时可以通过管道的方式传输多个转换。
要使用Spark，开发者需要编写一个Driver 程序，它被提交到集群以调度运行Worker，如下图所示。Driver 中定义了一个或多个RDD，并调用RDD 上的action，Worker 则执行RDD分区计算任务。
 

 

2 创建RDD

在Spark 中创建RDD 的创建方式大概可以分为三种&#x