RDD、DataFrame、DataSet的生成与互相转换

RDD的生成

1. 使用parallelize/makeRDD算子从集合转换而来，常用于测试
2. 使用类似textFile()这样的算子从文件系统读取数据形成RDD
3. 使用transformation算子转换而来

DataFrame的生成

1. 直接读取文件系统数据形成

spark.read.format.load()

2. RDD转换而来
3. DataSet转换而来

DataSet的生成

1. 直接读取文件系统数据形成

val ds = spark.read.textFile()

2. DataFrame转换而来
3. RDD转换而来

RDD和DataFrame的转换

RDD转DataFrame

1. 使用toDF的方式（需要导入隐式转换 import spark.implicits._）

• 第一种写法
  直接将字段名称传入toDF中

peopleRDD.map(x => {
    (x._1, x,_2)
}).toDF("name", "age")

• 第二种写法
  借助case class使用反射

peopleRDD.map(x => {
    Person(x._1, x._2)
})

case class Person(name: String, age: Int)

2. 构造Schema

val schema = StructType(Array(
  StructField("name", StringType),
  StructField("age", IntegerType)
))

val rowRDD = peopleRDD.map(_.split(","))
  .map(attributes => Row(attributes(0), attributes(1).trim.toInt))

val peopleDF = spark.createDataFrame(rowRDD, schema)

DataFrame转RDD

personDF.rdd.map(x => {
  val name = x.getString(0)
  val age = x.getInt(1)
  (name, age)
})

RDD和DataSet的转换

RDD转DataSet

1. 使用toDS()算子，需要导入隐式转换
   schema参考RDD转DataFrame的方法（schema信息不可以通过toDS直接传入）
2. 使用spark.createDataSet(rdd)的方式

DataSet转RDD

ds.rdd

DataFrame与DataSet的转换

DataFrame转DataSet

df.as[xxx]

case class xxx()

DataSet转DataFrame

ds.toDF()