UniqueChunBlog

原创 Spark RDD、DataFrame和DataSet的区别

在spark中，RDD、DataFrame、Dataset是最常用的数据类型，今天谈谈他们的区别！ 一 、共性 1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利 2、三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算。 3、三者都会根据spark的内...