RDD-DF-DS 三者之间的转换图

List item

RDD-DF-DS
三者之间的转换图

RDD-DF-DS
这三者之间可以进行互相转换，其中转换关系如下图所示：

举例如下：

类型之间的转换总结

RDD、DataFrame、Dataset 三者有许多共性，有各自适用的场景常常需要在三者之间转换

DataFrame/Dataset 转RDD：

这个转换很简单

val rdd1=testDF.rdd

val rdd2=testDS.rdd

RDD 转DataFrame：

import
spark.implicits._

val testDF = rdd.map
{line=>

(line._1,line._2)

}.toDF(“col1”,“col2”)

一般用元组把一行的数据写在一起，然后在toDF 中指定字段名

RDD 转Dataset：

import
spark.implicits._

case class
Coltest(col1:String,col2:Int)extends Serializable //定义字段名和类型

val testDS =
rdd.map {line=>

Coltest(line._1,line._2)

}.toDS

可以注意到，定义每一行的类型（case class）时，已经给出了字段名和类型，后面只要往case class 里面添加值即可

Dataset 转DataFrame：

这个也很简单，因为只是把case class 封装成Row

import
spark.implicits._

val testDF =
testDS.toDF

DataFrame 转Dataset：

import
spark.implicits._

case class
Coltest(col1:String,col2:Int)extends Serializable //定义字段名和类型

val testDS =
testDF.as[Coltest]

这种方法就是在给出每一列的类型后， 使用as 方法， 转成Dataset， 这在数据类型是DataFrame 又需要针对各个字段处理时极为方便。

在使用一些特殊的操作时，一定要加上import
spark.implicits._ 不然toDF、toDS 无法使用