RDD (Spark1.0) ->Dataframe(Spark1.3) -> Dataset(Spark1.6)
共性
1.RDD,dataFrame和DataSet都是spark平台下的分布式弹性数据集,为处理超大型数据提供便利
2.三者都有惰性加载机制,在进行创建,转换如map方法时不会立即执行,只有在遇到action如foreach时,三者才会进行遍历计算。
3.三者都会根据spark的内存情况进行自动缓存计算,这样即使数据量很大,也不用担心会内存溢出
4.三者都有partition的概念
5.三者都有许多共同的函数,如filter,排序等
6.在对dataFrame和dataSet进行许多操作都需要这个包的支持 import spark.implicits._
7.DataFrame和DataSet都可以通过匹配模式获取各个字段的值
区别
RDD
1.RDD一般和spark mlib同时使用
2.RDD不支持Spark SQL
DataFrame
1.与RDD和DataSet不同,DataFrame的每一行为固定的Row,只有通过解析才能获取各个字段的值
2.DataFrame和DataSet一般不和spark mlib同时使用
3.DataFrame和DataSet均支持spark SQL的操作
4.DataFrame和DataSet支持特殊的保存,可以带上表头,即将表头设置成map格式,然后放在options参数中
DataSet
DataFrame和DataSet拥有完全相同的成员函数,但是每一行的数据是强类型的,DataFrame在编译的时候如果出现类型的异常,不会检查出来,DataSet在编译的过程中就可以知道类型的正确性
RDD,DataFrame和DataSet的共性和区别
最新推荐文章于 2023-04-12 16:03:44 发布