spark性能调优---rdd重构和rdd持久化

1.尽量去复用RDD，差不多的RDD，可以抽取称为一个共同的RDD，供后面的RDD计算时，反复使用。

2.公共RDD一定要实现持久化(persite，catch)，持久化可以持久化到内存(内存不够可以存放到磁盘里面)

3.序列化我们需要持久化的RDD，序列化会节省空间，不过要使用的时候必须反序列化

4.为了数据的高可靠性，而且内存充足，可以使用双副本机制，进行持久化持久化的双副本机制，持久化后的一个副本，因为机器宕机了，副本丢了，就还是得重新计算一次；持久化的每个数据单元，存储一份副本，放在其他节点上面；从而进行容错；一个副本丢了，不用重新计算，还可以使用另外一份副本。这种方式，仅仅针对你的内存资源极度充足