RDD、DataFrame、DataSet的概念、区别联系、相互转换操作

目录

一，概念

1.RDD：

2.DataFrame：

3.DateSet：

二，区别

RDD：

DataFrame：

DataSet

三，联系

四，相互转换作用

一，概念

    RDD、DataFrame、Dataset都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利。RDD，作为Spark的核心数据抽象，是Spark当中不可或缺的存在，而在SparkSQL中，Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。

三者的概念分别为：

1.RDD：

全称Resilient Distributed Dataset，弹性分布式数据集，Spark中最基础的数据抽象，特点是RDD只包含数据本身，没有数据结构

2.DataFrame：

一个分布式数据容器，除数据本身，还记录了数据的结构信息，即schema；结构信息便于Spark知道该数据集中包含了哪些列，每一列的类型和数据是什么

3.DateSet：