RDD、DataFrame、DataSet的概念、区别联系、相互转换操作

目录

一、概念

二、共同点

三、区别

四、相互转换操作

DataFrame/Dataset转RDD

RDD转DataFrame

RDD转Dataset

Dataset转DataFrame

DataFrame转Dataset

---

一、概念

RDD、DataFrame、Dataset都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利。RDD，作为Spark的核心数据抽象，是Spark当中不可或缺的存在，而在SparkSQL中，Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。

下面分别讲述一下三者的概念：

1. RDD：全称Resilient Distributed Dataset，弹性分布式数据集，Spark中最基础的数据抽象，特点是RDD只包含数据本身，没有数据结构。

2. DataFrame：也是一个分布式数据容器，除数据本身，还记录了数据的结构信息，即schema；结构信息便于Spark知道该数据集中包含了哪些列，每一列的类型和数据是什么。