Spark RDD、DF、DS互转

DataFrame/Dataset 转RDD

val rdd1=df.rdd
val rdd2=ds.rdd

RDD 转DataFrame

import spark.implicits._
val df = rdd.map {line=>
(line._1,line._2)
}.toDF("col1","col2")

一般用元组把一行的数据写在一起，然后在toDF 中指定字段名
对于隐式转换，例如将RDD转换为DataFrame，一定要加上import spark.implicits._ 不然toDF、toDS 无法使用

RDD 转Dataset

import spark.implicits._
// case 类
case class Coltest(col1:String,col2:Int) extends Serializable 
val ds = rdd.map {line=>
Coltest(line._1,line._2)
}.toDS

Dataset 转DataFrame

import spark.implicits._
val df = ds.toDF

DataFrame 转Dataset

import spark.implicits._
case class Coltest(col1:String,col2:Int)extends Serializable //定义字段名和类型
val testDS = testDF.as[Coltest]