RDD、DataFrame和DataSet

已于 2022-08-21 10:08:53 修改
阅读量289 收藏
点赞数
分类专栏： spark 文章标签： spark 大数据 分布式
于 2022-08-20 22:15:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Laoddaaa/article/details/126445117
版权

同样的数据给到三个数据结构，分别计算后都会给出相同的结果。但是在执行效率和执行方式上有所不同。在后期的Spark版本中，DataSet有可能会逐步取代RDD和DataFrame成为唯一个API接口

三者的共性

  • 三者都是Spark平台的分布式弹性数据集，为处理超大型数据提供便利
  • 三者都有惰性机制即：在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，才会开始遍历运算。
  • 有许多共同的函数，如filter，sort等
  • 三者都会根据 Spark 的内存情况自动缓存运算，这样即使数据量很大，也不用担心会内存溢出
  • 三者都有partition的概念
  • DataFrame 和 DataSet 均可使用模式匹配获取各个字段的值和类型

三者的区别

  1. RDD不支持sparkSQL操作。
  2. DataFrame的值不能直接访问，只有通过解析才能获取各个字段的值；DataFrame 与 DataSet 支持一些特别方便的保存方式，比如保存成 csv，可以带上表头，这样每一列的字段名一目了然
  3. Dataset 和 DataFrame 拥有完全相同的成员函数，区别只是每一行的数据类型不同。

三者的互相转换

在这里插入图片描述

cluse_ld
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark SQL之RDD, DataFrame, DataSet详细使用
congge_study的博客
05-02 2万+
Spark SQL之RDD, DataFrame, DataSet详细使用
基于spark的Scala编程—RDD、DataFrame和DataSet的区别
心相印的专栏
11-20 746
本文主要介绍RDD、DataFrame和DataSet这三者到底有什么区别，主要介绍以下几个方面： 分别出现在spark的哪些版本？ 各自的优缺点是什么？ 应该如何选择使用哪个类别？ 分别出现在spark的哪些版本？ RDD是spark一开始就提出的概念，DataFrame是spark1.3.0版本提出来的，spark1.6.0版本又引入了DateSet的，但是在spark2.0版本中，Dat...
RDD、DataFrame、Dataset介绍
gongpulin的博客
08-27 664
rdd 优点: 编译时类型安全  编译时就能检查出类型错误 面向对象的编程风格  直接通过类名点的方式来操作数据 缺点: 序列化和反序列化的性能开销  无论是集群间的通信, 还是IO操作都需要对对象的结构和数据进行序列化和反序列化. GC的性能开销  频繁的创建和销毁对象, 势必会增加GC val sparkconf = new SparkConf().setMaster
SparkSql---RDD DataFrame DataSet
最新发布
weixin_47109902的博客
01-24 1721
DataSet 是 Spark 1.6 中添加的一个新抽象，是 DataFrame的一个扩展。它提供了 RDD 的优势（强类型，使用强大的 lambda 函数的能力）以及 SparkSQL 优化执行引擎的优点。DataFrame 与 RDD 的主要区别在于，RDD只关心数据，而DataFrame中也包含数据描述信息(数据的元数据)。DataFrame 其实就是 DataSet 的一个特例 ,因为DataFrame中每行的类型都是Row。定义一个名为user的json文件，文件中的数据如下。
RDD、DataFrame、Dataset
https://blog.csdn.net/sinat_36710456
01-03 273
首先从版本的产生上来看： RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6)   RDD      RDD的劣势是性能限制，它是一个JVM驻内存对象，这也就决定了存在GC的限制和数据增加时Java序列化成本的升高。   Dataframe      与RDD类似，DataFrame也是一个分布式数据容器。...
RDD、DataFrame、DataSet原理解析
weixin_43681796的博客
04-24 2287
一、RDD、DataFrame、DataSet三者概念 1. RDD：全称Resilient Distributed Dataset，弹性分布式数据集，Spark中最基础的数据抽象，特点是RDD只包含数据本身，没有数据结构。 2. DataFrame：也是一个分布式数据容器，除数据本身，还记录了数据的结构信息，即schema；结构信息便于Spark知道该数据集中包含了哪些列，每一列的类型和数据是...
RDD、DataFrame、DataSet
weixin_43907316的博客
04-22 186
一、三者的共性 1)RDD、DataFrame、DataSet全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利; 2)三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算; 3)三者有许多共同的函数，如filter，排序等; 4)在对DataFrame和Dataset进行操作许多操作都需要这个包:import spark.implicits._（在创建好SparkSession对象后尽量直接导入） 5)三者都会
RDD、DataFrame、DataSet的概念、区别联系、相互转换操作
weixin_54064771的博客
12-11 570
RDD 是Spark的核心抽象，即 弹性分布式数据集（residenta distributed dataset）。代表一个不可变，可分区，里面元素可并行计算的集合。其具有数据流模型的特点：自动容错，位置感知性调度和可伸缩性。在Spark中，对数据的所有操作不外乎创建RDD、转化已有RDD以及调用 RDD操作进行求值。
RDD DataFrame和DataSet有什么区别？、
06-08
RDD、DataFrame和DataSet都是Spark中常用的数据结构，它们之间的主要区别如下： 1. RDD（Resilient Distributed Datasets）是Spark最基础的分布式数据集，它是一个不可变的分布式对象集合，可以在不同节点上进行...
RDD和DataFrame和Dataset
07-30 220
为了支持结构化数据的处理，SparkSQL提供了新的数据结构DataFrame。DataFrame是一个由具名列组成的数据集。它在概念上等同于关系数据库中的表或R/Python语言中的dataframe。由于SparkSQL支持多种语言的开发，所以每种语言都定义了DataFrame的抽象Dataset也是分布式的数据集合，它集成了RDD和DataFrame的优点，具备强类型的特点，同时支持Lambda函数。......
RDD，DataFrame 和 Dataset区别以及各自用途
超级帅的一个小伙子的博客
05-12 576
http://www.tuicool.com/articles/IjMrmuZ
RDD、DataFrame、DataSet 三者的关系
weixin_44870066的博客
03-23 3239
在 SparkSQL 中 Spark 为我们提供了两个新的抽象，分别是 DataFrame 和 DataSet。他们 和 RDD 有什么区别呢？ 首先从版本的产生上来看： Spark1.0 => RDD Spark1.3 => DataFrame Spark1.6 => Dataset 如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不 同是的他们的执行效率和执行方式。在后期的 Spark 版本...
详解RDD、DataFrame、Dataset
西瓜游侠的博客
07-26 1095
转载：https://www.cnblogs.com/starwater/p/6841807.html 在Spark中，有三个针对数据的抽象结构：RDD、FataFrame、Dataset。 1 共同点 RDD、FataFrame、Dataset有以下共同点： RDD、FataFrame、Dataset都是分布式的弹性数据集，是对处理的数据的一种抽象。 都有 惰性机制，在 转化操作 时，不会立即执行，只有在遇到 行动操作 时才会开始计算。 都会根据Spark内存情况自动缓存运算，即使数据量很大也不用担.
RDD、DataFrame和DataSet_大数据培训
zjjcchina的博客
08-18 119
如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。在后期的Spark版本中，DataSet有可能会逐步取代RDD和DataFrame成为唯一的API接口。他们和RDD有什么区别呢？（2）三者都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，三者才会开始遍历运算;（1）RDD、DataFrame、DataSet全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利;（3）三者有许多共同的函数，如filter，排序等;..
RDD、DataFrame、DataSet这三者的联系和区别
Fresh_man888的博客
12-11 403
三者的区别和联系: RDD是一个抽象的数据数据集（描述信息） DataFrame, Spark 1.x 是一个抽象的数据数据集，有描述信息(从哪里读取数据，怎么计算) + Schema信息字段的描述信息 DataSet在Spark1.6出现的，在Spark2.0将DataFrame和DataSet的的API进行了统一 DataSet是一个更正聪明，智能的RDD（有执行计划的RDD），被优化过的RDD，DataSet也有Schema，还有一个Encoder DataFrame是DataSet的一种
SparkSQL学习——RDD&DataFrame&DataSet
雷神乐乐的博客
04-03 1253
SparkSQL学习——RDD&DataFrame&DataSet
RDD、DataFrame、和DataSet三者的区别
sghuu的博客
12-15 393
在 SparkSQL 中 Spark 为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版本的产生上来看： RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) 如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同是的他们的执行效率和执行方式。 在...
Spark RDD、DataSet、DataFrame--区别（个人理解）
Enche的博客
03-30 2459
描述：实验将系统数据分别转换成RDD，DataSet、DataFrame，然后进行比较，数据有四列，分别起名为a、b、c、d。class People(a:String, b:String, c:String, d:String)RDD：转换成RDD[People]后，发现每个记录为一个People对象，在进行map操作时候，若想对每个记录进行操作，必须通过map(p=>p.属性) 通过p....
大数据开发：Spark RDD、DataFrame、DataSet
shuimuzh123的博客
07-30 240
在Spark的学习当中，RDD、DataFrame、DataSet可以说都是需要着重理解的专业名词概念。尤其是在涉及到数据结构的部分，理解清楚这三者的共性与区别，非常有必要。今天的大数据开发分享，我们就主要来讲讲Spark RDD、DataFrame、DataSet。 RDD，作为Spark的核心数据抽象，是Spark当中不可或缺的存在，而在SparkSQL中，Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。DataFrame、DataSet和RDD有什么区别？ 首.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值