03性能调优之重构RDD架构以及RDD持久化

RDD架构重构与优化

一种情况是从一个RDD到几个不同的RDD，算子和计算逻辑其实是完全一样的，结果因为人为的疏忽计算了多次，获取到了多个RDD。所以尽量去复用RDD，差不多的RDD可以抽取称为一个共同的RDD，供后面的RDD计算时，反复使用。

公共RDD一定要实现持久化

 
当第一次对RDD2执行算子，获取RDD3的时候，就会从RDD1开始计算，就是读取HDFS文件，然后对RDD1执行算子，获取到RDD2，然后再计算得到RDD3

默认情况下，多次对一个RDD执行算子，去获取不同的RDD都会对这个RDD以及之前的父RDD全部重新计算一次，计算过程为读取HDFS->RDD1->RDD2->RDD4。这种情况，是绝对绝对一定要避免的，一旦出现一个RDD重复计算的情况，就会导致性能急剧降低。比如，HDFS->RDD1-RDD2的时间是15分钟，那么此时就要走两遍，变成30分钟。

所以对于要多次计算和使用的公共RDD，一定要进行持久化。持久化是将RDD的数据通过BlockManager缓存到内存中/磁盘中，以后无论对这个RDD做多少次计算，都是直接取这个RDD的持久化的数据，比如从内存中或者磁盘中直接提取一份数据，过程示意图大致为： 

持久化进行序列化

如果正常将数据持久化在内存中，那么可能会导致内存的占用过大，这样的话，也许会导致OOM（内存溢出）。

当纯内存无法支撑公共RDD数据完全存放的时候，就优先考虑使用序列化的方式在纯内存中存储。将RDD的每个partition的数据序列化成一个大的字节数组，就一个对象。序列化后，大大减少内存的空间占用。

序列化的方式，唯一的缺点就是，在获取数据的时候，需要反序列化。

如果序列化纯内存方式还是导致OOM（内存溢出），那就只能考虑磁盘的方式，内存+磁盘的普通方式（无序列化），如果还不行就要考虑内存+磁盘（序列化）的形式。

双副本机制进行持久化

为了数据的高可靠性，而且内存充足，可以使用双副本机制进行持久化。

如果持久化后的一个副本因为机器宕机了，副本丢了，就还是得重新计算一次。持久化的双副本机制持久化的每个数据单元，存储一份副本，放在其他节点上面，从而进行容错，一个副本丢了，不用重新计算，还可以使用另外一份副本。这种方式，仅仅针对你的内存资源极度充足的情况。

持久化 
持久化 sessionid2actionRDD 
因为 sessionid2actionRDD 使用了两次，所以要对 sessionid2actionRDD 进行持久化操作。 
持久化只需对RDD调用persist()方法，并传入一个持久化级别即可。 
persist(StorageLevel.MEMORY_ONLY())，纯内存，无序列化，可以用cache()方法来替代 
StorageLevel.MEMORY_ONLY_SER()，纯内存，序列化，第二选择 
StorageLevel.MEMORY_AND_DISK()，内存 + 磁盘，无序列号，第三选择 
StorageLevel.MEMORY_AND_DISK_SER()，内存 + 磁盘，序列化，第四选择 
StorageLevel.DISK_ONLY()，纯磁盘，第五选择 

如果内存充足，要使用双副本高可靠机制， 选择后缀带_2的策略，比如:StorageLevel.MEMORY_ONLY_2()

sessionid2actionRDD = sessionid2actionRDD.persist(StorageLevel.MEMORY_ONLY());