大数据技术之SparkSQL（四）RDD、DataFrame、DataSet异同

最新推荐文章于 2023-12-24 06:30:00 发布
最新推荐文章于 2023-12-24 06:30:00 发布
阅读量355 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 大数据开发 大数据分析 大数据入门 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BAO7988/article/details/103633013
版权
本文探讨SparkSQL中的RDD、DataFrame和DataSet的区别与共性。它们都是Spark的分布式数据集，具备惰性机制和自动缓存。DataFrame与DataSet支持SparkSQL操作，DataFrame常用保存方式能带上表头。DataSet提供了更强的类型安全，而DataFrame适用于适配性强的函数。随着版本发展，DataSet逐渐成为主要API。
摘要由CSDN通过智能技术生成

2.5 RDD、DataFrame、DataSet

大数据技术之SparkSQL（四）RDD、DataFrame、DataSet异同

 

在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版本的产生上来看：

RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6)

如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同是的他们的执行效率和执行方式。

在后期的Spark版本中，DataSet会逐步取代RDD和DataFrame成为唯一的API接口。

2.5.1 三者的共性

1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利

2、三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算。

3、三者都会根据spark的内存情况自动缓存运算，这样即使数据量很大，也不用担心会内存溢出。

4、三者都有partition的概念

5、三者有许多共同的函数，如filter，排序等

6、在对DataFrame和Dataset进行许多操作都需要import spark.implicits._这个包进行支持

7、DataFrame和Dataset均可使用模式匹配获取各个字段的值和类型

最低0.47元/天 解锁文章
BAO7988
关注
专栏目录
SPARKSQL3.0-DataFrameAPI与spark.sql()区别源码分析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 952
SPARKSQL3.0-DataFrameAPI与spark.sql()区别源码分析
大数据学习之路84-SparkSQL基本使用与RDD对比（涉及自定义排序）
爱米酱的博客
09-27 2151
我们使用spark-sql，会加快我们的开发效率，在spark底层会把我们所写的sql转换成RDD去执行。得到我们想要的结果。 接下来我们会用RDD和spark-sql两种方式来分析数据，感受一下两者的差异。 首先我们先造数据并上传到hdfs中： 我们想要做的是，将这些数据按照年龄升序，颜值倒序排列。 首先我们用RDD的方式来做（这里会涉及到自定义排序）： 这里的自定义排序的思想是，...
Spark系列--SparkSQL(二)RDD、DataFrame、DataSet
淡淡的倔强的博客
07-20 1376
前言 在SparkCore中我们知道数据抽象是RDD，在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版本的产生上来看：
RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) 如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出...
SparkSQL编程之RDD、DataFrame、DataSet区别与共性
ITBOY_ITBOX博客
05-14 576
在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版本的产生上来看： RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) 如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同是的他们的执行效率和执行方式。 在后...
A Tale of Three Apache Spark APIs: RDDs, DataFrames, and Datasets（中英双语）
weixin_34216107的博客
04-03 215
文章标题 A Tale of Three Apache Spark APIs: RDDs, DataFrames, and Datasets 且谈Apache Spark的API三剑客：RDD、DataFrame和Dataset When to use them and why 什么时候用他们，为什么？ tale [tel] 传说，传言;（尤指充满惊险的）故事;坏话，谣言;〈古〉...
RDD、Dataframe和Dataset
一碗竹叶青的博客
11-04 497
RDD RDD是spark建立的核心API，是一种由容错机制的特殊集合。提供分布式low-level API来操作，包括transformation和action RDD 缺点： 无论是集群间的通信，还是IO操作都需要对对象的结构和数据进行序列化和反序列化。频繁地创建和销毁对象，势必会增加 GC 开销 。 Dataset/Dataframe DataFrame也是不可变分布式弹性数据集，DataFrame 的设计是为了让大数据 处理起来更容易，并做了 higher-level 的抽象 。DataFrame提
RDD、DataFrame、Dataset
https://blog.csdn.net/sinat_36710456
01-03 289
首先从版本的产生上来看： RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6)   RDD      RDD的劣势是性能限制，它是一个JVM驻内存对象，这也就决定了存在GC的限制和数据增加时Java序列化成本的升高。   Dataframe      与RDD类似，DataFrame也是一个分布式数据容器。...
RDD、DataFrame、DataSet的概念、区别联系、相互转换操作
weixin_54064771的博客
12-11 598
RDD 是Spark的核心抽象，即 弹性分布式数据集（residenta distributed dataset）。代表一个不可变，可分区，里面元素可并行计算的集合。其具有数据流模型的特点：自动容错，位置感知性调度和可伸缩性。在Spark中，对数据的所有操作不外乎创建RDD、转化已有RDD以及调用 RDD操作进行求值。
spark中的rdd，dataframe和dataset
KujyouRuri的博客
04-26 495
这里写目录标题Spark SQL的可能性RDD、DataFrame和DataSet三者的关系三者的共性三者的区别DataFrame常用操作创建DataSetDataFrame与DataSet互相转换以编程方式执行Spark SQL查询 Spark SQL的可能性 spark sql的特点： 1.易整合 将sql查询与spark程序无缝混合，可以使用java、scala、python、R等语言的API操作。 2.统一的数据访问 以相同的方式连接到任何数据源。 3.兼容Hive 支持hiveSQL的语
PySpark | SparkSQL入门 | DataFrame入门
liujiesxs的博客
06-28 1548
SparkSQL中的DataFrame的入门和操作
RDD、DataFrame、DataSet
weixin_43907316的博客
04-22 201
一、三者的共性 1)RDD、DataFrame、DataSet全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利; 2)三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算; 3)三者有许多共同的函数，如filter，排序等; 4)在对DataFrame和Dataset进行操作许多操作都需要这个包:import spark.implicits._（在创建好SparkSession对象后尽量直接导入） 5)三者都会
RDD和DataFrame和Dataset
07-30 232
为了支持结构化数据的处理，SparkSQL提供了新的数据结构DataFrame。DataFrame是一个由具名列组成的数据集。它在概念上等同于关系数据库中的表或R/Python语言中的dataframe。由于SparkSQL支持多种语言的开发，所以每种语言都定义了DataFrame的抽象Dataset也是分布式的数据集合，它集成了RDD和DataFrame的优点，具备强类型的特点，同时支持Lambda函数。......
RDD、DataFrame和DataSet_大数据培训
zjjcchina的博客
08-18 134
如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。在后期的Spark版本中，DataSet有可能会逐步取代RDD和DataFrame成为唯一的API接口。他们和RDD有什么区别呢？（2）三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算;（1）RDD、DataFrame、DataSet全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利;（3）三者有许多共同的函数，如filter，排序等;..
【大数据学习】SparkSQL 之 DataFrame与RDD的区别
奔走觅衣粮de博客
03-27 1045
DataFrame与RDD的区别 看上图，左侧的RDD[Person]虽然以Person为类型参数，但Spark框架本身不了解Person类的内部结构，而右侧的DataFrame就不一样了，它更像是一个二维表格，在这个二维表格里面，有行有列。使得Spark SQL可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么。DataFrame多了数据的结构信息，即不仅可以知道里面的数据，而且...
RDD、DataFrame、DataSet 三者的关系
weixin_44870066的博客
03-23 3259
在 SparkSQL 中 Spark 为我们提供了两个新的抽象，分别是 DataFrame 和 DataSet。他们 和 RDD 有什么区别呢？ 首先从版本的产生上来看： Spark1.0 => RDD Spark1.3 => DataFrame Spark1.6 => Dataset 如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不 同是的他们的执行效率和执行方式。在后期的 Spark 版本...
RDD、DataFrame、DataSet互转
liangzelei的博客
06-08 1744
如果需要RDD与DS或者DF之间操作，那么都需要引入 import spark.implicits._  【spark不是包名，而是sparkSession对象的名称】1、RDD 《-》 DataFrame    1、RDD  -》  DataFrame （确定Schema） a、直接手动确定：         peopleRDD.map{x => val para = x.split(...
Spark的核心概念：RDD、DataFrame和Dataset
晓晓的天空
12-24 1367
理解和掌握Apache Spark的核心概念：RDD、DataFrame和Dataset，对于大规模数据处理是至关重要的。这些概念提供了多种不同的数据抽象和处理方式，使Spark成为处理大规模数据的有力工具。希望本文详细的描述和示例代码有助于大家更深入地理解这些核心概念，从而更有效地利用Spark进行数据处理和分析。
“RDD、DataFrame、DataSet的概念、区别联系、相互转换操作”
qq_53114527的博客
12-09 1242
“RDD、DataFrame、DataSet的概念、区别联系、相互转换操作”
sparkSQL实训小结
最新发布
06-28
4. **DataFrame和Dataset的区别**：讲述了两者之间的异同，DataFrame更像表，而Dataset是分区的RDD，性能更好。 5. **数据转换和操作**：学习了如何使用Spark SQL进行数据清洗、聚合、连接等操作，提升数据处理能力...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值