版本:
Spark1.0 => RDD
Spark1.3 => DataFrame
Spark1.6 => Dataset
三者共性
1)RDD、DataFrame、DataSet 全都是 spark 平台下的分布式弹性数据集
2)三者都有惰性机制,在进行创建、转换不会立即执行,只有在遇到Action 如 foreach 时,三者才会开始遍历运算;
3)三者有许多共同的函数,如 filter,排序等;
4)在对 DataFrame 和 Dataset 进行操作许多操作都需要这个包:import spark.implicits._(在
创建好 SparkSession 对象后尽量直接导入)
5)三者都会根据 Spark 的内存情况自动缓存运算,这样即使数据量很大,也不用担心会
内存溢出
6)三者都有 partition 的概念
7)DataFrame 和 DataSet 均可使用模式匹配获取各个字段的值和类型
三者区别
-
RDD
1)RDD 一般和 spark mllib 同时使用
2)RDD 不支持 sparksql 操作 -
DataFrame
1)DataFrame 每一行的类型固定为 Row,每一列的值没法直接访问,只有通过解析才能获取各个字段的值
2)DataFrame 与 DataSet 一般不与 spark mllib 同时使用
3)DataFrame 与 DataSet 均支持 SparkSQL 的操作,比如 select,groupby 之类,还能注册临时表/视窗,进行 sql 语句操作
4)DataFrame 与 DataSet 支持一些特别方便的保存方式,比如保存成 csv,可以带上表头 -
DataSet
1)Dataset 和 DataFrame 拥有完全相同的成员函数,区别只是每一行的数据类型不同。DataFrame 其实就是 DataSet 的一个特例 type DataFrame = Dataset[Row]
2)DataFrame 也可以叫 Dataset[Row],每一行的类型是 Row,不解析,每一行究竟有哪些字段,各个字段又是什么类型都无从得知,只能用上面提到的 getAS 方法或者共性中的第七条提到的模式匹配拿出特定字段。而 Dataset 中,每一行是什么类型是不一定的,在自定义了 case class 之后可以很自由的获得每一行的信息
三者互相转换
object Spark01_SparkSQL_Basic {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setMaster("local[4]").setAppName("SQL")
//思考这里的环境对象是如何创建的
//构造方法私有,伴生对象亦没有apply方法,只能如下
val spark = SparkSession.builder().config(sparkConf).getOrCreate()
import spark.implicits._
//DataFrame强结构
// val df: DataFrame = spark.read.json("datas/user.json")
// df.show()
//SQL
// df.createOrReplaceTempView("user")
// spark.sql("select * from user").show()
// spark.sql("select age,username from user").show()
// spark.sql("select avg(age) from user").show()
//DSL
// df.select("age","username").show()
// df.select($"age"+1).show()
// df.select('age+1).show()
//DataSet强类型
//DataFrame是特定泛型的DataSet
// val seq = Seq(1, 2, 3, 4)
// val ds: Dataset[Int] = seq.toDS()
// ds.show()
//RDD<=>DataFrame
val rdd = spark.sparkContext.makeRDD(List((1, "zhangsan", 20), (2, "lisi", 30)))
val df: DataFrame = rdd.toDF("id", "name", "age")//需要补充表结构的列信息
val rowRDD: RDD[Row] = df.rdd//注意这里RDD的泛型为Row不是原来的元组
//DataFrame<=>DataSet
val ds: Dataset[User] = df.as[User]//由特殊的行类型Row转换为另一个
val df1 = ds.toDF()
//RDD<=>DataSet
val ds1 = rdd.map(t => User(t._1, t._2, t._3)).toDS()
val userRDD = ds1.rdd
spark.close()
}
case class User(id:Int,name:String,age:Int)
}