Spark关键要素的理解

RDD介绍

RDD是Spark应用程序开发过程中最为基本也最为重要的一类数据结构，RDD被定义为只读、分区化的记录集合，更为通俗来讲，RDD是对原始数据的进一步封装，封装导致两个结果：第一个结果是数据访问权限被限制，数据只能被读，而无法被修改；第二个结果是数据操作功能被强化，使得数据能够实现分布式存储、并发处理、自动容错等等诸多功能。Spark的整个计算过程都是围绕数据集RDD来进行。

RDD的两类来源

1）将未被封装的原始数据进行封装操作得到，根据原始数据的存在形式，又可被进一步分成由集合并行化获得或从外部数据集中获得。

2）由其他RDD通过转换操作获得，由于RDD的只读特性，内部的数据无法被修改，因此RDD内部提供了一系列数据转换（Transformation）操作接口，这类接口可返回新的RDD，而不影响原来的RDD内容。

RDD内部数据结构

1）分区信息的列表

2）对父RDD的依赖信息

3）对Key-Value键值对数据类型的分区器（可选）

4）计算分区的函数

5）每个数据分区的物理地址列表（可选）

RDD的数据操作并非在调用内部接口的一刻便开始计算，而是遇到要求将数据返回给驱动程序，或者写入到文件的接口时，才会进行真正的计算，这类会触发计算的操作称为动作（Action）操作，而这种延时计算的特性，被称为RDD计算的惰性（Lazy）

Spark核心是什么？

核心是RDD（Resilient Distributed Datasets），即弹性分布式数据集。

它是对数据的高度抽象概念，弹性可理解为数据存储弹性，可内存，可磁盘; 分布式可理解为数据分布在不同节点。

RDD是分布式数据的逻辑抽象，物理数据存储在不同的节点上，但对用户透明，用户不需要知道数据实际存在哪台机器。RDD包含的内容如下：

(1)只读分区集合：这保证了RDD的一致性，在计算过程中更安全可靠，此外RDD可能包含多个分区，数据分布在不同分区中，这些分区可能在不同的机器上。

(2)对数据的计算函数：RDD包含了对所表示数据的计算函数，也就是得到这个RDD所要经过的计算。

(3)计算数据的位置：对用户而言不需要知道数据在哪里，这些信息隐含在RDD的结构中。

(4)分区器：对数据分区依赖的分区算法，如hash分区器

(5)依赖的RDD信息：该RDD可能依赖的父RDD信息，用于失败重算或计算的DAG划分。

RDD算子的宽窄依赖

图中左边是宽依赖，父RDD的4号分区数据划分到子RDD的多个分区（一分区对多分区），这就表明有shuffle过程，父分区数据经过shuffle过程的hash分区器（也可自定义分区器）划分到子RDD。

那图中右边为什么是窄依赖？父RDD的每个分区的数据直接到子RDD的对应一个分区（一分区对一分区），例如1号到5号分区的数据都只进入到子RDD的一个分区，这个过程没有shuffle。Spark中Stage的划分就是通过shuffle来划分。

（shuffle可理解为数据的从原分区打乱重组到新的分区）

摘自博客：

https://blog.csdn.net/xwc35047/article/details/51146622

https://blog.csdn.net/xwc35047/article/details/60330528