Spark之RDD与DataFrame的区别与理解

最新推荐文章于 2024-07-09 15:47:20 发布
最新推荐文章于 2024-07-09 15:47:20 发布
阅读量1k 收藏 4
点赞数 2
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/godlovedaniel/article/details/119391493
版权
  • 1.RDD是Spark对于分布式数据模型的抽象，DF是带数据模式的结构化分布式数据集，类似于传统数据库中的一张表，RDD不带数据模式或者说是泛型的
  • 2.RDD API的执行引擎是Spark Core，其Spark Core的本质是负责任务的调度、计算、及存储;DF API优化引擎是SparkSQL，包括Catalyst执行过程优化和Tungsten数据结构优化。两者API的区别在于一个提供标量算子一个高阶算子和两者底层优化引擎不一致。
  • 3.之前子框架如Streaming，mlib,graph都是采用RDD API来编写，现在都是采用DF API来重新编写。
  • 4.调用DF API生成DF，但DF 的action算子触发执行后最终还是生成RDD，通过Spark Core框架来进行调度计算。DF API+SparkSQL代替之前的RDD API,目的就是为了提供更简单的API，让Spark做统一优化，在rdd计算时更高效.
莫叫石榴姐
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark DataFrame
Running_Tiger的博客
03-07 948
Spark DataFrame 1. DataFrame概念 DataFrame的前身是SchemaRDD，从Spark 1.3.0开始SchemaRDD更名为DataFrame。与SchemaRDD的主要区别是：DataFrame不再直接继承自RDD，而是自己实现了RDD的绝大多数功能。你仍旧可以在DataFrame上调用rdd方法将其转换为一个RDD。 在Spark中，DataFra...
Spark中RDD、DataFrame和DataSet的区别
abc33880238的博客
03-01 349
文章目录 前言 RDD、DataFrame和DataSet的定义 RDD、DataFrame和DataSet的比较 Spark版本 数据表示形式 数据格式 编译时类型安全 序列化 垃圾回收 效率/内存使用 编程语言支持 聚合操作(Aggregation) 结论 前言 最近同事开始学习使用S...
PySpark 中 RDD 与 DataFrame 的不同应用场景
最新发布
甜盐的博客
07-09 1227
RDD 是 Spark 的核心抽象，它代表一个不可变的分布式对象集合。RDD 提供了对分布式数据集合的容错和并行操作，允许用户对数据进行细粒度的控制。DataFrame 是一种基于 RDD 的高级抽象，它是一个分布式的行和列的数据集合，类似于关系数据库中的表。DataFrame 提供了更丰富的 API，并能利用 Spark SQL 引擎进行优化。
spark-dataframe与rdd的区别
qq_43688472的博客
12-30 1981
一：存储 1.RDD[Person]是以Person为类型参数，但是，Person类的内部结构对于RDD而言却是不可知的。 2.DataFrame是一种以RDD为基础的分布式数据集，也就是分布式的Row对象的集合（每个Row对象代表一行记录），提供了详细的结构信息，也就是我们经常说的模式（schema），Spark SQL可以清楚地知道该数据集中包含哪些列、每列的名称和类型。 二：计算 rdd...
RDD 和 DataFrame 的区别是什么？
热门推荐
Shockang的博客
07-08 2万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 结构的区别 RDD 和 DataFrame 均为 Spark 平台对数据的一种抽象，一种组织方式，但是两者的地位或者说设计目的却截然不同。 RDD 是整个 Spark 平台的存储、计算以及任务调度的逻辑基础，更具有通用性，适用于各类数据源， 而 DataFrame 是只针对结构化数据源的高层数据抽象，其中
Spark RDD与DataFrame的区别与联系
weixin_46529416的博客
12-20 2505
区别： RDD是分布式的java对象的集合，但是对象内部结构对于RDD而言却是不可知的。 DataFrame是一种以RDD为基础的分布式数据集，提供了详细的结构信息，相当于关系数据库中的一张表 联系 1.都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利 2、都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action才会运算 3.都会根据spark的内存情况自动缓存运算，这样即使数据量很大，也不用担心会内存溢出 4、三者都有partition的概念 5.三者有许多共.
大数据培训Spark框架：RDD、DataFrame的区别
weixin_45695430的博客
03-07 205
RDD、DataFrame是什么 在Spark中，RDD、DataFrame是最常用的数据类型。 什么是RDD？ RDD（Resilient Distributed Datasets）提供了一种高度受限的共享内存模型。 即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低。 RDD仍然足以表示很多类型的计算，包括MapReduce和专用的迭代编程模型（如Pregel）等。 什么是DataFrame
spark: RDD与DataFrame之间的相互转换方法
01-20
DataFrames可以从各种各样的源构建，例如：结构化数据文件，Hive中的表，外部数据库或现有RDD。 DataFrame API 可以被Scala，Java，Python和R调用。 在Scala和Java中，DataFrame由Rows的数据集表示。 在Scala API中...
Spark创建RDD、DataFrame各种情况的默认分区数
01-27
熟悉Spark的分区对于Spark性能调优很重要，本文总结Spark通过各种函数创建RDD、DataFrame时默认的分区数，其中主要和sc.defaultParallelism、sc.defaultMinPartitions以及HDFS文件的Block数量有关，还有很坑的某些...
spark rdd转dataframe 写入mysql的实例讲解
09-09
DataFrame构建在RDD之上，通过DataFrame，Spark能够理解数据的结构，从而提供SQL查询、关系操作和优化的能力。 RDD到DataFrame的转换主要有两种方式： 1. **隐式转换**：这是最常用的方式，通过导入`SQLContext`的...
RDD 与 DataFrame原理-区别-操作详解
沈春旭的博客
08-06 2696
1. RDD原理及操作 RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。RDD内部可以有许多分区(partitions)，每个分区又拥有大量的记录(records)。RDD具有五大特征： dependencies:建立RDD的依赖关系，主要RDD之间是宽窄依赖的关系，具有窄依...
spark rdd api dataframe 以及dataframe rdd dataset 相互转换 spark sql
02-14
包括spara rdd api，dataframe action操作、查询操作、join操作，dataframe rdd dataset 相互转换以及spark sql。
Spark RDD、DataFrame原理及操作详解
小黑的博客
02-26 1310
RDD是什么？ RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。 RDD内部可以有许多分区(partitions)，每个分区又拥有大量的记录(records)。 五个特征： dependencies:建立RDD的依赖关系，主要rdd之间是宽窄依赖的关系，具有窄依赖关系的rdd可以...
SparkSQL学习——RDD&DataFrame&DataSet
雷神乐乐的博客
04-03 1035
SparkSQL学习——RDD&DataFrame&DataSet
Spark ：2.0三种API的传说：RDD，DataFrame和Dataset[译]
不花的花和尚的博客
10-09 1082
对于开发来说，最具吸引力的是一组API可以使其提高生产力，易于使用，直观和富有表现力。 Apache Spark对开发人员的吸引力在于它对大量数据集操作十分简易，并且跨语言（Scala，Java，Python和R）. 本文主要讲解Apache Spark 2.0中RDD，DataFrame和Dataset三种API；它们各自适合的使用场景；它们的性能和优化；列举使用DataFrame和Datas...
SparkSQL之一张贴讲明白RDD丶DataFrame丶DataSet
王傲旗的大数据之路
06-13 345
先上个图 在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版本的产生上来看： 在这里插入代码片 如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同是的他们的执行效率和执行方式。 在后期的Spark版本中，DataSet会逐步取代RDD和DataFrame成为唯一的API接口。 三者的共性 1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，为处理超大型数据提
Spark：DataFrame 与 RDD
u010499619的博客
10-25 2571
spark中的DataFrame和RDD对于初学者来说是很容易产生混淆的概念。下面内容是berkeley的spark课程学习笔记，记录了  DataFrame与RDD的相同点及区别。 首先看一下官网的解释： DataFrame：在Spark中，DataFrame是一个以命名列方式组织的分布式数据集，等同于关系型数据库中的一个表，也相当于R/Python中的data frames（但是
Spark机器学习的三剑客：RDD、DataFrame和Dataset API
人邮异步社区
09-03 999
Spark有效处理大规模数据的3个主要工具是RDD、DataFrame和Dataset API。虽然每个API都有自己的优点，但新范式转变支持Dataset作为统一数据API，以满足在单个界面中所有数据处理需求。 新的Spark 2.0 Dataset API是一个类型安全的领域对象集合，可以使用函数运算或关系操作方式执行（类似于RDD的filter、map和flatMap()等）并行转换。为了向后兼容，Dataset有一个称为DataFrame的视图，它是无类型的行集合。在本章中，我们将演示3个API集
SparkSQL基本数据抽象RDD/DataFrame/Dataset介绍[附操作代码]
GitHub-ChauserMondieu
03-31 531
spark SQL数据结构，RDD｜DataFrame｜Dataset 结构梳理和相互转换
Spark创建RDD、DataFrame分区优化：默认值与调优策略
3. **HDFS文件的Block数量**：Spark会尽可能地将RDD或DataFrame的分区与HDFS块对齐，以充分利用存储系统的并行读取能力。这意味着分区数可能受到HDFS Block大小的影响，例如，如果一个文件的大小远大于默认分区数，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值