spark中RDD算子介绍

1. spark简介

Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。
Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。

2. RDD简介
RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变（创建了内容不可变）、可分区、里面的元素可并行计算的集合。

RDD在源码中的介绍：

翻译过来就是：

1，由多个分区组成。对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。
2，一个计算函数用于每个分区。Spark中RDD的计算是以分片为单位的，每个RDD都会实现compute函数以达到这个目的。
3，RDD之间的依赖关系。RDD的每次转换都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系。数据丢失时，根据依赖重新计算丢失的分区而不是整个分区。
4，一个Partitioner，即RDD的分片函数。默认是HashPartition
5，分区数据的最佳位置去计算。就是将计算任务分配到其所要处理数据块的存储位置。数据本地化。

画个图分析下：

 

基本上RDD有两种创建方式，一个是从hdfs中获取数据创建，一个是通过创建并行化集合创建rdd 。

我们通过创建集合的方式创建rdd : 

如图，每次都会产生新的rdd, 且每个rdd之间含有依赖关系，如果某个rdd处理失败，可以从shan上个依赖chon重新获取数据，

还可以看出rdd会自动就是将计算任务分配到其所要处理数据块的存储位置。数据本地化

最后来一个wordcount流程图，用来描述各部流程：