Spark_rdd_DF_DataSet

1.rdd转换DF<直接指定列命 增加结构名称既可。
rdd.toDF(“id”) ===========rdd = df.rdd
2.DataSet :强类型。
case class Person(name:String,age:Long)
val list = List(Person(“zhangsan”,15),Person(“lsii”,15),Person(“wangwu”,15))
val ds = list.toDS
ds.show
3.DS转换DF
DS 创建时指定样例类 val list = List(Person(“zhangsan”,15),Person(“lsii”,15),Person(“wangwu”,15)) val ds = list.toDS
DF 创建时仅指定字段名称就可以。rdd.toDF(“id”) =rdd = df.rdd
val ds = df.as[Person] //df转换为ds时给定样例类名既可以=ds.toDF//ds转换为DF时直接转换既可
4.rdd =====ds
rdd以样例类构件出来时 rdd.toDS 注意 必须是以样例类样式创建。 ds.tordd直接转既可。

type DataFrame = Dataset[Row] dDataFrame是一个特定泛型的DataSet.