RDD、DataFrame、DataSet对比与相互转换

RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) 

三者的共性

1、RDD、DataFrame、Dataset 全都是 spark 平台下的分布式弹性数据集，为处理超大型数据提供便利

2、三者都有惰性机制，在进行创建、转换，如 map 方法时，不会立即执行，只有在遇到 Action 如 foreach 时，三者才会开始遍历运算。

3、三者都会根据 spark 的内存情况自动缓存运算，这样即使数据量很大，也不用担心会内存溢出

4、三者都有 partition 的概念

5、三者有许多共同的函数，如 filter，排序等

6、在对 DataFrame 和 Dataset 进行操作许多操作都需要这个包进行支持

import spark.implicits._

7、DataFrame 和 Dataset 均可使用模式匹配获取各个字段的值和类型

DataFrame:

testDF.map{
    case Row(col1:String,col2:Int)=>
     println(col1);println(col2)
     col1
    case _=>
     ""
}

Dataset:

cas