spark的常识整理(二)====RDD

前言：今天我接着上一篇RDD创建之后的内容继续来说，与各位博友共勉！

RDD的算子

RDD算子有两种

1、transformation算子（懒惰性算子，不会立即执行，一般不触发job的算子都是此类算子）

比如map，filter, flatmap , groupByKey ,reduceByKey, join(left right) ,cogroup, sortByKey等；
其中sortByKey是一个比较特殊的，他虽然触发了job任务，当官网依然把他定义为transformation算子。

2、Action算子（立即执行）(一般为触发了job的算子)

比如reduce，collect，take，countByKey, saveAsTextFile() ,foreach , collectAsMap , top() ,fold()(), distinct等。
使用collect应注意：collect是将RDD类型数据转化成数组，同时将远程集群数据全部拉取到Driver端，数据量过大时容易造成oom的结果。
其实也有一个偏门方法得出算子属于哪类算子：
在程序里算子执行后的返回值可以直接打印看到结果的是Action算子，否则依然是transformation算子。

另外还有几种算子：

Mappartitions算子：类似map，但不同的是map每次只处理一行数据，而Mappartition算子，一次处理一个分区的数据;
这个算子一般用在数据量不是特别大，可以用Mappartition代替map来处理数据，可以提高效率，否则数据量过大，可能会出现oom（内存溢出）的现象。
coalesce算子：这个算子是用来改变分区数量的的，它默认不发生shuffle过程，如果是减少分区，它是把分区数据整体拉取在一块，是不发生shuffle的，但是如果要想增加分区，需要修改参数false为true，而且此时发生了shuffle。
repartition算子：也是一个改变分区的算子，它与coalesce不同的是，它默认发生shuffle的，底层实现的是coalesce的true状态。

接下来说一下RDD算子内的一些小知识

持久化

1、cache：底层调用persist，并且只有一种缓存级别(MEMORY_ONLY)
2、persist：它的缓存级别有12种，默认也是内存(MEMORY_ONLY)

检查点（checkpoint）

如果我们运行的saprk程序十分复杂，从RDD初始化开始到程序结束，需要很长的时间，此时适合使用checkpoint
但是我们在进行checkpoint时需要存储和读取数据，会产生io消耗，所以一般只用来保存特别重要的数据，并且和cache联合使用，而他的数据一般会保存在可靠的文件系统中，如HDFS。当然也可以保存在磁盘上。

共享变量

Broadcast：广播变量 ==> 只读，不可变
使用情景：算子内部使用了算子外部的变量，此时每个Task中都会跨节点去copy外部变量，此时用广播变量，可将外部变量广播到对应worker节点上，此节点下的Task可共享同一个变量，可以节省时间，提升效率，不需要跨节点拉取数据。

累加器

基本理解：

多个节点对一个变量进行操作，也就是多个Task对一个累加器的操作，可以进行不同节点的Task数值累加操作。

特点：

1）累加器在全局唯一的，只增不减，记录全局集群的唯一状态
2）在exe中修改它，在driver读取
3）executor级别共享的，广播变量是task级别的共享
两个application不可以共享累加器，但是同一个app不同的job可以共享

宽窄依赖

宽依赖

多个子RDD的partition数据依赖于同一个父RDD的partition数据，此时会有交互现象
比如：一个父亲多个孩子

窄依赖：

一个父RDD的partition数据只被一个子RDD的分区使用
比如一个父亲只有一个孩子

发生宽窄依赖的条件：

当发生shuffle的时候会产生宽窄依赖划分，但是有个特殊的形式，如果当在join操作之前进行分组，那么分组后的数据可能是窄依赖。

关于shuffle的问题我将在下一篇文章中继续讲述