Spark学习笔记（一）：Spark简介和RDD

前言：这是Spark理论的学习笔记，代码和操作极少，请自行熟悉代码。这篇幅会越来越长，并且不断深入，没什么意外的话笔者会在空闲时候慢慢进行更新。如果有错误的地方，请大佬指出让我改进，感激不尽！

1.Spark概述

1.1简介

Spark是一种快速、通用、可扩展的大数据分析引擎，是基于内存计算的大数据分布式计算框架。基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。

Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。

1.2它的特点

1.快

与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。

2.易用3.通用4.兼容性  ......安装，搭建集群这些不是本文的重点 这里不多介绍 -  直接开干！

 

2.RDD(弹性分布式数据集)

spark编程离不开rdd，那么什么是rdd呢？它为什么出现呢？

首先来看看它出现的原因：

在hadoop流行的时候，大家使用mapreduce来分布式地进行分数据处理。熟悉mr变成原理的话就知道，它在map结束阶段把结果溢出到磁盘，Reduce操作后把结果也输出到磁盘。这注定存在IO和网络传输这些数据的开销，使得其效率降低。如若进行一些迭代算法，或者交互式数据挖掘，反复的磁盘操作带来巨大的开销。

所以RDD出现了，它很大成都解决了这个问题，它是一个分布式的内存抽象，一个高度受限（只读）的共享内存模型，让我们详细的来了解它。

我们来看看官方的解释：

RDD是弹性分布式数据集。它是只读的、分区记录的集合。RDD只能基于在稳定物理存储中的数据集和其他已有的RDD上执行确定性操作来创建。

还有RDD官方的5个特点(下面是我扩展的解释)：

1）a list of partitions : 一组分片（Partition）。

对于RDD来说，每个分片都会被一个计算任务处理。分片有可能存储在集群的不同机器中用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。

2）a function for computing each split : 一个作用在所有分片的方法

方法执行对象是每一个分片，RDD要求其抽象类所有子类实现compute的函数来达到这个目的。

3）a list of dependencies on other RDDs : 依赖于其他RDD

RDD间存在依赖关系，对RDD的每次转换操作会生成新的RDD，他们类似于流水线一般前后依赖，在部分分区丢失数据时，可以通过依赖关系重新计算。我们称这依赖为血统，下文会再介绍。

4）Optionally,a Partitioner for Key-value RDDs : 对于key - value 形式，有一个分片的规则方法

RDD内部存储的是k-v 形式的数据时，分片函数才会有值，而其他类型的RDD的Parititioner的值是None。该属性决定了自身的分片数量，也决定了父RDD 在 Shuffle过程输出的分片数。

5）Optionally, a list of preferred locations to compute each split on : 可选地,有首选地点计算每个分片

按照“移动数据不如移动计算”的理念，Spark进行任务调度的时候，会尽可能地将计算任务分配到其所要处理数据块的存储位置。

从上面的介绍，你大概知道了RDD是个什么东西，当然RDD作为spark的基础远不止这些，下面慢慢介绍！

2.1RDD的抽象

1）RDD是只读的、分区记录的集合。

2）RDD只能基于在稳定物理存储中的数据集和其他已有的RDD上执行确定性操作来创建。

3）RDD不需要物化。RDD含有如何从其他RDD衍生（即计算）出本RDD的相关信息（即Lineage），据此可以从物理存储的数据计算出相应的RDD分区。

2.RDD的transformation和action

对RDD的操作有transformation(转换)和action(执行)两种

所有转换都是延迟加载的，也就是说，它们并不会直接计算结果。相反的，它们只是记住应用转换动作。只有当发生一个action动作时，这些转换才会真正运行。这种设计让Spark更加有效率地运行。

 

为什么RDD是弹性的？这大概是初学者最难明白的一个词了。下面这些特性都表明它的弹性

3.基于血统(Lineage)的高效容错:

1）MapReduce及其相关模型的优势在于自动容错、位置感知性调度和可伸缩性，rdd保持了这些优点。其中最难实现的就是容错性。容错性的实现一般有数据检查点和记录数据的更新这两种。

2）RDD只支持粗粒度的转换(即在大量记录上执行的单个操作)，因为这个特点RDD选择记录更新的方式。再看看前文 我对官方提供的第三点特点的解释：RDD间存在依赖关系，对RDD的每次转换操作会生成新的RDD，他们类似于流水线一般前后依赖，在部分分区丢失数据时，可以通过依赖关系重新计算。这使得RDD不需要存放真实的数据，它里面存储的是如何通过父RDD获得自身的方式。对RDD使用toDebugString可以看到它的血统。

这里必须引入一下宽依赖和窄依赖的概念:

来上一张经典的图

窄依赖我们形象的比喻为独生子女(每一个父RDD的Partition最多被子RDD的一个Partition使用)

宽依赖我们形象的比喻为多个孩子(多个子RDD的Partition会依赖同一个父RDD的Partition)

这个概念在后文的文章提到的stage就是以此划分的

4.RDD的缓存机制:

rdd可以使用persist方法或cache方法将计算结果缓存，便于重用，这也是RDD持久化的一部分。

这两者是有区别的，spark支持多种缓存级别，而从源码来看cache()调用的是 MEMORY_ONLY

(仅在内存中)，他底层使用的是persist方法，二persist可以指定多种存储级别。

另外，RDD在内存不够用时也会自动的写入磁盘中，这些机制让RDD十分灵活。

值得一提RDD的persist或cache是transformation动作，遇到action才会真正执行

5.checkpoint

1）RDD的Lineage或许会很长，比如执行了100次转换，若果这时候数据丢失，恢复起来可能会很耗时间。所以这时候我们可以通过checkpoint把处理到某个程度的数据存到安全的地方(hdfs就很全)，

这时候前面的RDD就不再需要前面的依赖了，通过RDD中的dependencies_判断是否做过 ck。(dependencies_ 用来存放checkpoint后的结果的，如为null，则就判断没checkpoint)

2）如果让你做checkpoint会选择在哪呢？

显然我们尽量在宽依赖的操作下使用checkpoint。窄依赖是线性的，如果一个patition数据丢失，可以直接通过之前的分片计算得来，而宽依赖要等前面多条线性的数据全部处理完毕再执行shuffle，这时候丢失数据，那么就要面临全部重新计算了。

从以上特点是不是觉得RDD像个软体弹球一般，又灵活又有弹性呢

6.再来看看有向无环图(DAG)

DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，对于窄依赖，partition的转换处理在Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。

以上是RDD中大部分基础知识，笔者刚刚入门，只有日后在下面补充更多的东西

1.RDD里面到底存了什么

RDD里面并没有存储真正的数据信息，它存储的是上一代RDD通过什么操作获取到了自己，还有一些数据类型，分片方法等。那么它的数据到底从何而来？

其实它是有存储数据的来源的，在RDD血统的顶层，初代RDD，它不依赖任何RDD，因为它就是依赖的开始。它存储了任务所需的数据的分区信息，以及如何读取这些分区。而数据的读取发生在task中，只有任务分发到了Executor上运行了，这时候才开始读取。

Spark中RDD的接口