Spark RDD、DataFrame和DataSet的区别

最新推荐文章于 2020-12-27 14:19:40 发布
最新推荐文章于 2020-12-27 14:19:40 发布
阅读量702 收藏
点赞数
分类专栏： Spark 文章标签： spark RDD算子

转自：http://blog.csdn.NET/wo334499/article/details/51689549 


RDD

优点:

  1. 编译时类型安全 
    编译时就能检查出类型错误
  2. 面向对象的编程风格 
    直接通过类名点的方式来操作数据

缺点:

  1. 序列化和反序列化的性能开销 
    无论是集群间的通信, 还是IO操作都需要对对象的结构和数据进行序列化和反序列化.
  2. GC的性能开销 
    频繁的创建和销毁对象, 势必会增加GC
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkConf, SparkContext}

object Run {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("test").setMaster("local")
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")
    val sqlContext = new SQLContext(sc)

    /**
      * id      age
      * 1       30
      * 2       29
      * 3       21
      */
    case class Person(id: Int, age: Int)
    val idAgeRDDPerson = sc.parallelize(Array(Person(1, 30), Person(2, 29), Person(3, 21)))

    // 优点1
    // idAge.filter(_.age > "") // 编译时报错, int不能跟String比

    // 优点2
    idAgeRDDPerson.filter(_.age > 25) // 直接操作一个个的person对象
  }
}
  
  
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26

DataFrame

DataFrame引入了schema和off-heap

  • schema : RDD每一行的数据, 结构都是一样的. 这个结构就存储在schema中.Spark通过schame就能够读懂数据, 因此在通信和IO时就只需要序列化和反序列化数据, 而结构的部分就可以省略了.

  • off-heap : 意味着JVM堆以外的内存, 这些内存直接受操作系统管理（而不是JVM）。Spark能够以二进制的形式序列化数据(不包括结构)到off-heap中, 当要操作数据时, 就直接操作off-heap内存. 由于Spark理解schema, 所以知道该如何操作.

off-heap就像地盘, schema就像地图, Spark有地图又有自己地盘了, 就可以自己说了算了, 不再受JVM的限制, 也就不再收GC的困扰了.

通过schema和off-heap, DataFrame解决了RDD的缺点, 但是却丢了RDD的优点. DataFrame不是类型安全的, API也不是面向对象风格的.

import org.apache.spark.sql.types.{DataTypes, StructField, StructType}
import org.apache.spark.sql.{Row, SQLContext}
import org.apache.spark.{SparkConf, SparkContext}

object Run {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("test").setMaster("local")
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")
    val sqlContext = new SQLContext(sc)
    /**
      * id      age
      * 1       30
      * 2       29
      * 3       21
      */
    val idAgeRDDRow = sc.parallelize(Array(Row(1, 30), Row(2, 29), Row(4, 21)))

    val schema = StructType(Array(StructField("id", DataTypes.IntegerType), StructField("age", DataTypes.IntegerType)))

    val idAgeDF = sqlContext.createDataFrame(idAgeRDDRow, schema)
    // API不是面向对象的
    idAgeDF.filter(idAgeDF.col("age") > 25) 
    // 不会报错, DataFrame不是编译时类型安全的
    idAgeDF.filter(idAgeDF.col("age") > "") 
  }
}
  
  
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27

DataSet

DataSet结合了RDD和DataFrame的优点, 并带来的一个新的概念Encoder

当序列化数据时, Encoder产生字节码与off-heap进行交互, 能够达到按需访问数据的效果, 而不用反序列化整个对象. Spark还没有提供自定义Encoder的API, 但是未来会加入.

下面看DataFrame和DataSet在2.0.0-preview中的实现

下面这段代码, 在1.6.x中创建的是DataFrame

<code
 class="hljs mathematica has-numbering" style="display: block; padding: 
0px; color: inherit; box-sizing: border-box; font-family: 'Source Code 
Pro', monospace;font-size:undefined; white-space: pre; border-radius: 
0px; word-wrap: normal; background: transparent;">// 
上文DataFrame示例中提取出来的
val idAgeRDDRow = sc.parallelize(<span class="hljs-keyword" 
style="color: rgb(0, 0, 136); box-sizing: 
border-box;">Array</span>(<span class="hljs-keyword" 
style="color: rgb(0, 0, 136); box-sizing: 
border-box;">Row</span>(<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>, <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">30</span>), <span class="hljs-keyword" 
style="color: rgb(0, 0, 136); box-sizing: 
border-box;">Row</span>(<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">2</span>, <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">29</span>), <span class="hljs-keyword" 
style="color: rgb(0, 0, 136); box-sizing: 
border-box;">Row</span>(<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">4</span>, <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">21</span>)))

val schema = StructType(<span class="hljs-keyword" style="color: 
rgb(0, 0, 136); box-sizing: 
border-box;">Array</span>(StructField(<span 
class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: 
border-box;">"id"</span>, DataTypes.IntegerType), 
StructField(<span class="hljs-string" style="color: rgb(0, 136, 0); 
box-sizing: border-box;">"age"</span>, DataTypes.IntegerType)))

val idAgeDF = sqlContext.createDataFrame(idAgeRDDRow, 
schema)</code><ul class="pre-numbering" style="box-sizing: 
border-box; position: absolute; width: 50px; top: 0px; left: 0px; 
margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; 
border-right-style: solid; border-right-color: rgb(221, 221, 221); 
list-style: none; text-align: right; background-color: rgb(238, 238, 
238);"><li style="box-sizing: border-box; padding: 0px 
5px;">1</li><li style="box-sizing: border-box; padding: 0px 
5px;">2</li><li style="box-sizing: border-box; padding: 0px 
5px;">3</li><li style="box-sizing: border-box; padding: 0px 
5px;">4</li><li style="box-sizing: border-box; padding: 0px 
5px;">5</li><li style="box-sizing: border-box; padding: 0px 
5px;">6</li></ul>

但是同样的代码在2.0.0-preview中, 创建的虽然还叫DataFrame

<code
 class="hljs python has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;">// 
sqlContext.createDataFrame(idAgeRDDRow, schema) 方法的实现, 返回值依然是DataFrame
<span class="hljs-function" style="box-sizing: 
border-box;"><span class="hljs-keyword" style="color: rgb(0, 0, 
136); box-sizing: border-box;">def</span> <span 
class="hljs-title" style="box-sizing: 
border-box;">createDataFrame</span><span class="hljs-params"
 style="color: rgb(102, 0, 102); box-sizing: border-box;">(rowRDD: 
RDD[Row], schema: StructType)</span>:</span> DataFrame = {
sparkSession.createDataFrame(rowRDD, schema)
}</code><ul class="pre-numbering" style="box-sizing: 
border-box; position: absolute; width: 50px; top: 0px; left: 0px; 
margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; 
border-right-style: solid; border-right-color: rgb(221, 221, 221); 
list-style: none; text-align: right; background-color: rgb(238, 238, 
238);"><li style="box-sizing: border-box; padding: 0px 
5px;">1</li><li style="box-sizing: border-box; padding: 0px 
5px;">2</li><li style="box-sizing: border-box; padding: 0px 
5px;">3</li><li style="box-sizing: border-box; padding: 0px 
5px;">4</li></ul>

但是其实却是DataSet, 因为DataFrame被声明为Dataset[Row]

<code
 class="hljs r has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;">package object sql {
  // <span class="hljs-keyword" style="color: rgb(0, 0, 136); 
box-sizing: border-box;">...</span>省略了不相关的代码

  type DataFrame = Dataset[Row]
}</code><ul class="pre-numbering" style="box-sizing: 
border-box; position: absolute; width: 50px; top: 0px; left: 0px; 
margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; 
border-right-style: solid; border-right-color: rgb(221, 221, 221); 
list-style: none; text-align: right; background-color: rgb(238, 238, 
238);"><li style="box-sizing: border-box; padding: 0px 
5px;">1</li><li style="box-sizing: border-box; padding: 0px 
5px;">2</li><li style="box-sizing: border-box; padding: 0px 
5px;">3</li><li style="box-sizing: border-box; padding: 0px 
5px;">4</li><li style="box-sizing: border-box; padding: 0px 
5px;">5</li></ul>

因此当我们从1.6.x迁移到2.0.0的时候, 无需任何修改就直接用上了DataSet.

下面是一段DataSet的示例代码

<code
 class="hljs scala has-numbering" style="display: block; padding: 0px; 
color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', 
monospace;font-size:undefined; white-space: pre; border-radius: 0px; 
word-wrap: normal; background: transparent;"><span 
class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: 
border-box;">import</span> 
org.apache.spark.sql.types.{DataTypes, StructField, StructType}
<span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: 
border-box;">import</span> org.apache.spark.sql.{Row, 
SQLContext}
<span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: 
border-box;">import</span> org.apache.spark.{SparkConf, 
SparkContext}

<span class="hljs-class" style="box-sizing: border-box;"><span 
class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: 
border-box;">object</span> <span class="hljs-title" 
style="box-sizing: border-box; color: rgb(102, 0, 
102);">Test</span> {</span>
  <span class="hljs-keyword" style="color: rgb(0, 0, 136); 
box-sizing: border-box;">def</span> main(args: Array[String]) {
    <span class="hljs-keyword" style="color: rgb(0, 0, 136); 
box-sizing: border-box;">val</span> conf = <span 
class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: 
border-box;">new</span> SparkConf().setAppName(<span 
class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: 
border-box;">"test"</span>).setMaster(<span 
class="hljs-string" style="color: rgb(0, 136, 0); box-sizing: 
border-box;">"local"</span>) <span class="hljs-comment" 
style="color: rgb(136, 0, 0); box-sizing: border-box;">// 
调试的时候一定不要用local[*]</span>
    <span class="hljs-keyword" style="color: rgb(0, 0, 136); 
box-sizing: border-box;">val</span> sc = <span 
class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: 
border-box;">new</span> SparkContext(conf)
    <span class="hljs-keyword" style="color: rgb(0, 0, 136); 
box-sizing: border-box;">val</span> sqlContext = <span 
class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: 
border-box;">new</span> SQLContext(sc)
    <span class="hljs-keyword" style="color: rgb(0, 0, 136); 
box-sizing: border-box;">import</span> sqlContext.implicits._

    <span class="hljs-keyword" style="color: rgb(0, 0, 136); 
box-sizing: border-box;">val</span> idAgeRDDRow = 
sc.parallelize(Array(Row(<span class="hljs-number" style="color: 
rgb(0, 102, 102); box-sizing: border-box;">1</span>, <span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">30</span>), Row(<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">2</span>, <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">29</span>), Row(<span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">4</span>, <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">21</span>)))

    <span class="hljs-keyword" style="color: rgb(0, 0, 136); 
box-sizing: border-box;">val</span> schema = 
StructType(Array(StructField(<span class="hljs-string" style="color: 
rgb(0, 136, 0); box-sizing: border-box;">"id"</span>, 
DataTypes.IntegerType), StructField(<span class="hljs-string" 
style="color: rgb(0, 136, 0); box-sizing: 
border-box;">"age"</span>, DataTypes.IntegerType)))

    <span class="hljs-comment" style="color: rgb(136, 0, 0); 
box-sizing: border-box;">// 在2.0.0-preview中这行代码创建出的DataFrame, 
其实是DataSet[Row]</span>
    <span class="hljs-keyword" style="color: rgb(0, 0, 136); 
box-sizing: border-box;">val</span> idAgeDS = 
sqlContext.createDataFrame(idAgeRDDRow, schema)

    <span class="hljs-comment" style="color: rgb(136, 0, 0); 
box-sizing: border-box;">// 在2.0.0-preview中, 还不支持自定的Encoder, Row类型不行,
 自定义的bean也不行</span>
    <span class="hljs-comment" style="color: rgb(136, 0, 0); 
box-sizing: border-box;">// 
官方文档也有写通过bean创建Dataset的例子，但是我运行时并不能成功</span>
    <span class="hljs-comment" style="color: rgb(136, 0, 0); 
box-sizing: border-box;">// 所以目前需要用创建DataFrame的方法, 
来创建DataSet[Row]</span>
    <span class="hljs-comment" style="color: rgb(136, 0, 0); 
box-sizing: border-box;">// 
sqlContext.createDataset(idAgeRDDRow)</span>

    <span class="hljs-comment" style="color: rgb(136, 0, 0); 
box-sizing: border-box;">// 目前支持String, Integer, 
Long等类型直接创建Dataset</span>
    Seq(<span class="hljs-number" style="color: rgb(0, 102, 102); 
box-sizing: border-box;">1</span>, <span class="hljs-number"
 style="color: rgb(0, 102, 102); box-sizing: 
border-box;">2</span>, <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">3</span>).toDS().show()
    sqlContext.createDataset(sc.parallelize(Array(<span 
class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: 
border-box;">1</span>, <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">2</span>, <span class="hljs-number" 
style="color: rgb(0, 102, 102); box-sizing: 
border-box;">3</span>))).show()
  }
}</code>

参考

Introducing Apache Spark Datasets
APACHE SPARK: RDD, DATAFRAME OR DATASET?
RDD、DataFrame和DataSet的区别
Spark 2.0.0-preview 官方文档



翔飞天宇
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark中RDD，DataSet，DataFrame的区别
Galaxy_songypd的博客
11-28 335
接触到spark不可避免的会接触spark的Api；           rdd,DataFrame,DataSet， 接下来就大致说一下他们的有点以及各自的区别； 首先DataFrame，DataSet是基于RDD之上的，而且可以通过简单的api调用进行无缝切换。 RDD的优点； 1；相对比与传统的MapReduce框架，spark的RDD中内置了很多函数操作，map，flatMap，...
spark rdd api dataframe 以及dataframe rdd dataset 相互转换 spark sql
02-14
包括spara rdd api，dataframe action操作、查询操作、join操作，dataframe rdd dataset 相互转换以及spark sql。
Spark RDD,DataFrame和DataSet的区别
踏雪无痕
05-23 186
RDD：编译时类型安全（编译时就进行类型检查），采用面向对象的编程风格。需要序列化和反序列化（对结构和数据），增加GC（垃圾回收）性能开销。DataFrame：引入了schema（结构化，RDD中的每行数据结构相同）和off-heap（JVM堆以外的内存直接受操作系统管理，Spark可以以二进制的形式序列化数据到off-heap中，无GC开销）。DataSet：结合RDD和DataFrame的优点...
RDD、DataFrame和DataSet三者之间的关系
03-22
Spark是大数据处理领域的一款高效、通用且可扩展的计算框架，它提供了三种主要的数据抽象：RDD（Resilient Distributed Datasets）、DataFrame和DataSet。这三种数据抽象分别针对不同的使用场景和需求，各自拥有独特...
spark: RDD与DataFrame之间的相互转换方法
01-20
DataFrame是一个组织成命名列的数据集。它在概念上等同于关系...在Scala API中，DataFrame只是一个类型别名Dataset[Row]。而在Java API中，用户需要Dataset用来表示DataFrame。 在本文档中，我们经常将Scala/Java数据
spark-scala-examples:该项目以Scala语言提供了Apache Spark SQL，RDD，DataFrame和Dataset示例
05-04
有关该项目中存在的所有Spark SQL，RDD，DataFrame和Dataset示例的说明，请访问 。所有这些示例均以Scala语言编码并在我们的开发环境中进行了测试。目录（Scala中的Spark示例）Spark RDD示例火花蓄能器介绍将Spark ...
Java和scala实现 Spark RDD转换成DataFrame的两种方法小结
08-27
Java 和 Scala 实现 Spark RDD 转换成 DataFrame 的两种方法小结 在本文中，我们将讨论如何使用 Java 和 Scala 将 Spark RDD 转换成 DataFrame，並且介绍两种实现方法。 准备数据源 在项目下新建一个 student.txt...
【SparkSql篇01】SparkSql之DataFrame和DataSet1
08-04
总之，Spark SQL的DataFrame和DataSet提供了高效、灵活的结构化数据处理手段，SparkSession作为统一入口简化了数据访问，而从RDD转换为DataFrame或DataSet则提供了多种途径，满足不同需求。这些特性使得Spark SQL...
JAVA spark创建DataFrame的方法
09-07
在Spark大数据处理框架中，DataFrame是一种高效且灵活的数据抽象，它提供了一种表格形式的数据集表示，支持SQL查询和其他高级数据分析。在Java中操作Spark DataFrame，我们需要了解几个关键概念和步骤，这通常包括...
playing-with-spark-rdd:Apache Spark RDD示例
03-21
9. **Spark Shell和DataFrame/Dataset API**：虽然项目主要关注RDD，但可能会提及DataFrame和Dataset API。DataFrame是基于RDD的优化接口，适用于结构化数据，而Dataset API是DataFrame的类型安全版本，提供了更丰富...
Spark.sql数据库部分的内容
02-07
3. **Dataset API**：Dataset是DataFrame的泛型版本，提供了编译时类型检查和优化，它是DataFrame和RDD之间的桥梁，提供了更高效且类型安全的数据操作。 4. **SQL支持**：Spark SQL支持标准的SQL查询，用户可以通过...
Spark案例源码和数据集.rar
最新发布
10-27
DataFrame和DataSet是Spark SQL引入的高级抽象，提供了更丰富的SQL支持和类型安全。 4. **Spark Streaming**： Spark Streaming处理实时数据流，通过微批处理方式实现高吞吐量和低延迟。它可以与Kafka、Flume、...
Spark RDD-DataFrame-DataSet三者异同
江南阁
01-04 763
三者的共性 RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利 三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算，极端情况下，如果代码里面有创建、转换，但是后面没有在Action中使用对应的结果，在执行时会被直接跳过. 三者都会根据spark的内存情况自动...
spark：RDD和DataFrame和DataSet三者间的区别
不花的花和尚的博客
06-16 5186
RDD vs DataFrames vs DataSet 在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版本的产生上来看： RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) 如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同是的他们的执行效率和执行方式。 在后期的Spark版本中，DataSet会逐步取代RD
Spark——Spark RDD、Dataset、DataFrame及区别
aof
12-27 544
文章目录RDD1. 不可变性2. 分区性3. 并行操作4. RDD内部结构5. RDD宽依赖、窄依赖1. 窄依赖2. 宽依赖6. RDD的重用DatasetDataFrame参考 RDD RDD（Resilient Distributed Dataset，弹性分布式数据集）是Spark中的基本抽象。RDD代表一种可并行操作的不可变的分区元素集合，它有3个特性： RDD是不可变的 RDD是分区的 RDD是可以并行操作的 1. 不可变性 RDD是不可变的，只能在其他的RDD上通过Transformation
Spark中RDD、DataFrame和DataSet的区别与联系
蔡政洁的博客
12-05 3052
目录一、RDD、DataFrame和DataSet的定义二、RDD、DataFrame和DataSet的比较（1）Spark版本（2）数据表示形式（3）数据格式（4）编译时类型安全（5）序列化（6）垃圾回收（7）效率/内存使用（8）编程语言支持（9）聚合操作(Aggregation)（10）结论 一、RDD、DataFrame和DataSet的定义 在开始Spark RDD与DataFrame与Dataset之间的比较之前，先让我们看一下Spark中的RDD，DataFrame和Datasets的定义：
spark rdd dataframe dataset
03-16
Spark RDD、DataFrame和DataSet是Spark中常用的三种数据结构。 RDD（Resilient Distributed Dataset）是Spark最早的数据结构，它是一个不可变的分布式数据集合，可以被分区存储在不同的节点上，支持并行操作和容错...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值