spark中RDD，DataSet，DataFrame的区别

接触到spark不可避免的会接触spark的Api；

          rdd,DataFrame,DataSet，

接下来就大致说一下他们的有点以及各自的区别；

首先DataFrame，DataSet是基于RDD之上的，而且可以通过简单的api调用进行无缝切换。

RDD的优点；

1；相对比与传统的MapReduce框架，spark的RDD中内置了很多函数操作，map，flatMap，filter等算子，方便处理结构化和非结构化的数据。

2；面向对象编程，直接存储java对象，类型转化也很安全。

RDD的缺点；

1；存在大量的序列化和反序列化的性能开销，因为无论是集群间通信还是IO操作都是需要进行序列化和反序列化的。

2；并没有对特殊场景进行优化，比如对于结构化数据，以及sql的操作就很乏力。

3；GC性能的开销，基于内存计算，频繁的创建和销毁对象，势必会增加GC。

接下来说DataFrame

优点；

1；DataFrame是sparkSql的APi，在RDD的基础之上又引入了schema和off-heap；

schema；RDD中的每一行的数据，结构都是一样的，这个结构就存储在schema中，spark通过schema就可以读懂数据，因此在通信和IO的过程中只需要进行序列化和反序列化，而结构的部分就可以省略了。

off-heap；意味着开始使用堆外内存，这些内存直接受操作系统管理，而不是由jvm管理