spark rdd存储开销分析

背景

很多使用spark的朋友很想知道rdd里的元素是怎么存储的，它们占用多少存储空间？本次我们将以实验的方式进行测试，展示rdd存储开销性能。
关于rdd的元素怎么存储，spark里面实现了好几种不同类型的rdd，如最常见的MapPartitionsRDD，它处理map,filter,mapPartition等不引起shuffle的算子；再如ShuffledRDD它由shuffle操作生成的；像GraphX里面的VertexRDD、EdgeRDD和TripletRDD，它们是分区内构建了大量索引得rdd。不同的rdd拥有不同的元素存储机制，这些机制由rdd具体的分区对象来实现。关于rdd分区对象的存储方式，由于内容过多，这里不便介绍。

测试方法论

rdd到底占用多少空间，使用spark web ui的Executors查看是不够的，它只能显示executor目前已使用内存空间大小，并不能跟踪每个rdd空间使用情况。好在spark提供了cache功能，它能使我们手动控制rdd在内存中贮存。若另外一个rdd使用已cache的rdd，那么它的输入便是cached rdd，rdd的输入在web ui的job信息里是可以查看的。本实验的主要方法便是如此

val a = sc.parallelize( 1 to 1024*1024, 1).cache()