[ Spark ] RDD\DataFrame\DataSet三者关系

版本:

Spark1.0 => RDD
Spark1.3 => DataFrame
Spark1.6 => Dataset

三者共性

1)RDD、DataFrame、DataSet 全都是 spark 平台下的分布式弹性数据集

2)三者都有惰性机制，在进行创建、转换不会立即执行，只有在遇到Action 如 foreach 时，三者才会开始遍历运算;

3)三者有许多共同的函数，如 filter，排序等;

4)在对 DataFrame 和 Dataset 进行操作许多操作都需要这个包:import spark.implicits._（在
创建好 SparkSession 对象后尽量直接导入）
5)三者都会根据 Spark 的内存情况自动缓存运算，这样即使数据量很大，也不用担心会
内存溢出
6)三者都有 partition 的概念

7)DataFrame 和 DataSet 均可使用模式匹配获取各个字段的值和类型

三者区别

1. RDD
   1)RDD 一般和 spark mllib 同时使用
   2)RDD 不支持 sparksql 操作

2. DataFrame
   1)DataFrame 每一行的类型固定为 Row，每一列的值没法直接访问，只有通过解析才能获取各个字段的值
   2)DataFrame 与 DataSet 一般不与 spark mllib 同时使用
   3)DataFrame 与 DataSet 均支持 SparkSQL 的操作，比如 select，groupby 之类，还能注册临时表/视窗，进行 sql 语句操作
   4)DataFrame 与 DataSet 支持一些特别方便的保存方式，比如保存成 csv，可以带上表头

3. DataSet
   1)Dataset 和 DataFrame 拥有完全相同的成员函数，区别只是每一行的数据类型不同。DataFrame 其实就是 DataSet 的一个特例 type DataFrame = Dataset[Row]
   2)DataFrame 也可以叫 Dataset[Row],每一行的类型是 Row，不解析，每一行究竟有哪些字段，各个字段又是什么类型都无从得知，只能用上面提到的 getAS 方法或者共性中的第七条提到的模式匹配拿出特定字段。而 Dataset 中，每一行是什么类型是不一定的，在自定义了 case class 之后可以很自由的获得每一行的信息

三者互相转换

object Spark01_SparkSQL_Basic {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local[4]").setAppName("SQL")
    //思考这里的环境对象是如何创建的
    //构造方法私有,伴生对象亦没有apply方法,只能如下
    val spark = SparkSession.builder().config(sparkConf).getOrCreate()
    import spark.implicits._

    //DataFrame强结构
//    val df: DataFrame = spark.read.json("datas/user.json")
//    df.show()
    //SQL
//    df.createOrReplaceTempView("user")
//    spark.sql("select * from user").show()
//    spark.sql("select age,username from user").show()
//    spark.sql("select avg(age) from user").show()
    //DSL
//    df.select("age","username").show()
//    df.select($"age"+1).show()
//    df.select('age+1).show()

    //DataSet强类型
    //DataFrame是特定泛型的DataSet
//    val seq = Seq(1, 2, 3, 4)
//    val ds: Dataset[Int] = seq.toDS()
//    ds.show()

    //RDD<=>DataFrame
    val rdd = spark.sparkContext.makeRDD(List((1, "zhangsan", 20), (2, "lisi", 30)))
    val df: DataFrame = rdd.toDF("id", "name", "age")//需要补充表结构的列信息
    val rowRDD: RDD[Row] = df.rdd//注意这里RDD的泛型为Row不是原来的元组

    //DataFrame<=>DataSet
    val ds: Dataset[User] = df.as[User]//由特殊的行类型Row转换为另一个
    val df1 = ds.toDF()

    //RDD<=>DataSet
    val ds1 = rdd.map(t => User(t._1, t._2, t._3)).toDS()
    val userRDD = ds1.rdd

    spark.close()
  }
  case class User(id:Int,name:String,age:Int)
}