RDD、DataFrame、DataSet

最新推荐文章于 2024-07-06 03:08:00 发布
最新推荐文章于 2024-07-06 03:08:00 发布
阅读量164 收藏
点赞数
分类专栏： Hadoop 文章标签： 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stranger_man/article/details/106352333
版权

在Spark中这三种数据格式十分重要，是使用Spark的基础中的基础。自己刚开始也一直比较模糊，所以写篇文章记录一下作为备用。
DataSet算子合集
整体算子

RDD和DataFrame

在这里插入图片描述
上图左侧的RDD[Person]虽然以Person为类型参数，但是对Spark框架来说它无法解析得到Person的内部具体结构，但是我们可以通过代码具体控制每个元素的转化。而DataFrame增加一个schema结构，里面记录了每列的字段类型和名称。
所以：DataFrame=RDD[Row]+schema；DataFrame = DataSet[Row]
注：这里的Row类型是什么？其实一个模糊指代类型就是指代一行。如在DataFrame中Spark框架可以解析到每个字段的类型，但是每一行也可以也是各结构，这个结构就是Row类型。后面提到的DataSet就是将这个Row类型明确了！

转换

Rdd转DataFrame的原因：将RDD转换成DataFrame之后，借用SparkSql和HQL语句快速统计和查询。
RDD转化为DataFrame的两种方式 ：推荐第二种方式，动态编程。
DataFrame转RDD的原因：解决一些使用sql难以处理的统计分析；将数据写入Mysql
DataFrame转Rdd直接调用.rdd算子即可

转换备忘版

无峥
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pyspark-examples:Python语言中的Pyspark RDD，DataFrame和Dataset示例
05-02
PySpark DataFrame示例PySpark –创建一个DataFrame PySpark –创建一个空的DataFrame PySpark –将RDD转换为DataFrame PySpark –将DataFrame转换为PandasPySpark – StructType和StructField 在DataFrame和RDD上...
spark rdd api dataframe 以及dataframe rdd dataset 相互转换 spark sql
02-14
包括spara rdd api，dataframe action操作、查询操作、join操作，dataframe rdd dataset 相互转换以及spark sql。
Spark2.0 RDD DataFrame DataSet 如何选择？
chixushuchu的博客
12-07 306
发发发
spark rdd dataframe dataset
upupfeng的博客
07-24 240
RDD RDD(Resilient Distribute Datasets)弹性分布式数据集，是spark的核心概念，表示分布式存储的只读集合，可以基于RDD进行数据的转换操作(map，filter等) Spark通过RDD的抽象概念，实现了分区计算存储、DAG、依赖等编程接口 rdd介绍：https://www.infoq.cn/article/spark-core-rdd RDD vs Dat...
2024年最全SparkSQL基本数据抽象RDD DataFrame Dataset介绍[附操作代码]，2024年最新浅谈大数据开发消息机制原理
2401_84586524的博客
05-10 614
ma其中Schema是一个StructType对象，StructType记录着所有数据StructField(key,value)的List对象。RDD在DataFrame中常常以case class的形式进行存储，Dataset与DataFrame的不同之处就在于这个case class对于Dataset来说不是一个具体的class而是一个spark内置定义的Row对象，Spark能够根据Row对象中存储的信息动态推断出字段的数据类型DataFrameDataset。
SparkSql---RDD DataFrame DataSet
weixin_47109902的博客
01-24 1689
DataSet 是 Spark 1.6 中添加的一个新抽象，是 DataFrame的一个扩展。它提供了 RDD 的优势（强类型，使用强大的 lambda 函数的能力）以及 SparkSQL 优化执行引擎的优点。DataFrame 与 RDD 的主要区别在于，RDD只关心数据，而DataFrame中也包含数据描述信息(数据的元数据)。DataFrame 其实就是 DataSet 的一个特例 ,因为DataFrame中每行的类型都是Row。定义一个名为user的json文件，文件中的数据如下。
RDD DataFrame DataSet
HanseyLee
08-31 381
RDD DataFrame DataSet https://databricks.com/wp-content/uploads/2016/06/Unified-Apache-Spark-2.0-API-1.png https://www.infoq.cn/article/three-apache-spark-apis-rdds-dataframes-and-datasets https://da...
RDD DataFrame DataSet 的相互转换
Nice的博客
09-17 658
RDD、DataFrame、Dataset 三者有许多共性，有各自适用的场景常常需要在三者之间转换 DataFrame/Dataset转RDD： 这个转换很简单 val rdd1=testDF.rdd val rdd2=testDS.rdd RDD转DataFrame： import spark.implicits._ val testDF = rdd.map {line=> ...
RDD, DataFrame,DataSet区别与相互转化
bitcarmanlee的博客
02-06 1229
它提供了特定领域内专用的 API 来处理你的分布式数据，并让更多的人可以更方便地使用 Spark，而不仅限于专业的数据工程师。从根本上来说，一个 RDD 就是你的数据的一个不可变的分布式元素集合，在集群中跨节点分布，可以通过若干提供了转换和处理的底层 API 进行并行处理。3.如果你想在编译时就有高度的类型安全，想要有类型的 JVM 对象，用上 Catalyst 优化，并得益于 Tungsten 生成的高效代码，那就使用 Dataset；1.你希望可以对你的数据集进行最基本的转换、处理和控制；
Spark RDD、DataFrame和DataSet的区别
热门推荐
03-26 4万+
在比较这三者的区别之前，先看看他们各自的定义是什么。RDD是一种弹性分布式数据集，是一种只读分区数据。它是spark的基础数据结构，具有内存计算能力、数据容错性以及数据不可修改特性。Dataframe也是一种不可修改的分布式数据集合，它可以按列查询数据，类似于关系数据库里面的表结构。可以对数据指定数据模式（schema）。Dataset是DataFrame的扩展，它提供了类型安全，面向对象的编程接口。也就是说DataFrame是Dataset的一种特殊形式。
【Spark SQL】- RDD DataFrame Dataset 三者的优缺点 , 三者之间的创建 , 以及相互转换
兀坐晴窗独饮茶
05-28 2656
一.简单介绍 1.RDD RDD 是一个懒执行(只有当遇到action算子时才会真正的开始执行)的不可变的的 可以支持 lambda 表达式 的并行数据集 RDD 的最大优势就是简单 , 毕竟容易上手 RDD 的 劣势在于 , 它是一个存在于 JVM 内存中的对象 , JVM 内存是计算机内存划分的一块空间 , 所以它受到 Gc (JVM 自己的垃圾处理器 , 用来回收一些不用的对象 , 但是 ...
RDD DataFrame DataSet 相互转化的方法
stupidTomA的博客
03-30 205
import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession object Transform { case class People(name:String,age:Int) def main(args: Array[String]): Unit = { val sparkConf =...
spark: RDD与DataFrame之间的相互转换方法
01-20
DataFrame是一个组织成命名列的数据集。它在概念上等同于关系...在Scala API中，DataFrame只是一个类型别名Dataset[Row]。而在Java API中，用户需要Dataset用来表示DataFrame。 在本文档中，我们经常将Scala/Java数据
RDD、DataFrame和DataSet三者之间的关系
03-22
Spark是大数据处理领域的一款高效、通用且可扩展的计算框架，它提供了三种主要的数据抽象：RDD（Resilient Distributed Datasets）、DataFrame和DataSet。这三种数据抽象分别针对不同的使用场景和需求，各自拥有独特...
Java和scala实现 Spark RDD转换成DataFrame的两种方法小结
08-27
Java 和 Scala 实现 Spark RDD 转换成 DataFrame 的两种方法小结 在本文中，我们将讨论如何使用 Java 和 Scala 将 Spark RDD 转换成 DataFrame，並且介绍两种实现方法。 准备数据源 在项目下新建一个 student.txt...
企业搭建知识库：解锁无限潜力的钥匙
sheji888的专栏
07-05 549
在当今这个信息爆炸的时代，企业如何高效地管理、传播与利用知识，已成为衡量其竞争力的重要标尺。知识库，作为这一背景下的产物，正逐步成为企业不可或缺的数字资产。它不仅是一个自助式的数字门户，更是连接员工、客户与知识的桥梁，其重要性不容忽视。
阶段三：项目开发---大数据系统基础环境准备：任务1：准备系统运行的先决条件
qq_60872637的博客
07-04 775
大数据基础环境准备SSH免密码连接安装配置JDK安装配置Scala无项目开发测试环境为分布式集群环境，在当前项目中使用多台基于CentOS 64bit 的虚拟机来模拟生产环境。
Memcached在大数据量下的挑战：性能瓶颈与优化策略
最新发布
2401_85761762的博客
07-06 643
Memcached是一个基于内存的分布式缓存系统，它通过减少对数据库的访问次数来提高应用程序的性能。它支持简单的数据存储和检索操作，并且是许多高流量网站的核心技术。
无锡哲讯：SAP赋能汽车零配件行业，加速企业数字化转型
zhexun622的博客
07-04 490
随着科技的不断进步和消费者需求的日益多样化，如何通过高效的资源管理和生产流程优化，提升竞争力，已成为汽车零配件企业亟待解决的问题。实施服务，助力汽车零配件企业把握数字化转型的机遇，提升管理水平，增强核心竞争力。生产计划与排程：面对多样化的订单需求，需要灵活的生产计划和排程来满足生产效率和客户交付要求。供应链协同：汽车零配件供应链复杂，需要高效的供应链管理来确保物料的及时供应和成本控制。系统支持灵活的生产计划和排程，优化生产流程，提高生产效率。系统实现供应链的透明化，提高供应链的协同效率和响应速度。
rdd dataframe dataset区别
03-16
RDD，DataFrame 和 Dataset 是 Apache Spark 中三种不同的数据抽象。 RDD（Resilient Distributed Datasets）是 Spark 最基本的数据抽象，它是不可变、分布式的数据集合。RDD 具有很高的扩展性，但是 API 相对复杂...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值