Spark SQL和DataFrame的本质

最新推荐文章于 2024-06-18 07:45:00 发布
最新推荐文章于 2024-06-18 07:45:00 发布
阅读量767 收藏
点赞数
分类专栏： SparkSQL 文章标签： spark sql 企业级 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Full_Stack_delp/article/details/72917890
版权

1， Spark SQL和DataFrame（DataSet，还没有深度去使用）

2， DataFrame与RDD

3， 企业级最佳实践

一：Spark SQL和DataFrame

1， Spark SQL是除了Spark Core以外最大的和最受关注的组件。

a) 其更加强大，可以操作各种数据来源和各种格式的数据；用户可以扩展Spark SQL的功能来支持更多类型的数据（例如Kudu）。

b) Spark SQL把数据仓库的计算能力推向了新的高度。不仅是无敌的计算速度（尤其是在Tungsten成熟以后会更加无可匹敌，Spark SQL比shark快至少一个数量级，而Shark比Hive快至少一个数量级），更为重要的是把数据仓库的计算复杂度推向了历史上全新的高度（Spark SQL后续推出的DataFrame可以让数据仓库直接使用机器学习、图计算等复杂的算法库来对数据仓库进行复杂深度数据价值的挖掘）；

c) Spark SQL（DataFrame、DataSet）不仅是数据仓库的引擎，而且也是数据挖掘的引擎，更为重要的是Spark SQL是数据科学计算和分析引擎！！！

d) 后来的DataFrame让Spark（SQL）一举成为大数据计算引擎的技术实现霸主（尤其是在Tungsten的强力支持下）！

e) Hive+Spark SQL+DataFrame，过去绝大部分公司都是这个解决方案。

i：Hive负责廉价的数据仓库存储

ii：Spark SQL负责高速的计算

iii：DataFrame负责复杂的数据挖掘（DataFrame是一个新的API，不是Spark SQL）

二：DataFrame和RDD

1，R和Python中都有DataFrame，Spark中的DataFrame从形式上看最大的不同点是其天生是分布式的；你可以简单的认为Spark中的DataFrame是一个分布式的Table。

这里写图片描述

  1. RDD和DataFrame的根本差异是：
    a） RDD是以Record为单位的，Spark在优化的时候无法洞悉Record内部的细节，所以也就无法进行更深度的优化，这极大的限制了Spark SQL性能提升！
    b） DataFrame包含了每个Record的Metadata信息，也就是说DataFrame的优化是基于列内部的优化，而不是像RDD一样只能够基于行进行优化。

三：Spark SQL企业级最佳实践

第二阶段：JavaEE加数据库，瓶颈数据库不能分布式(扩展性)，企业只能处理局部数据，数据过滤然后在数据库中。
第三阶段：数据局限导致Hive，Hive计算能力有限，出现速度性能问题。
第四阶段：Hive转向Spark SQL+Hive，计算能力是一个问题。
第五阶段：Hive+Spark SQL+DataFrame
第六阶段：Hive+Spark SQL+DataFrame+DataSet
领先的处在第五个阶段，大部分处在第三个和第四个阶段。

Spark SQL之RDD, DataFrame, DataSet详细使用
congge_study的博客
05-02 2万+
Spark SQL之RDD, DataFrame, DataSet详细使用
Spark(21) -- Spark SQL -- DataFrame
erainm
10-06 256
1. 读取文本文件创建DataFrame 2. 读取json文件创建DataFrame 3. 读取parquet列式存储格式文件创建DataFrame 4. 读取CSV的数据集 5. scala代码演示几种创建Dataframe的方式（使用caseclass的方式、直接使用TODF的方式、使用外部的Json的格式）
DataFrame和SparkSql使用区别
LALALA3_3的博客
12-04 1645
启动交互shell [root@hdp-1 bin]# ./spark-shell --master spark://hdp-2:7077 --executor-memory 500m --total-executor-cores 1 –master spark://hdp-2:7077 sparkmaster节点的地址 –executor-memory 500m –total-executor...
解密Spark SQL与DataFrame的本质
snail_gesture的博客
05-02 2227
本篇博文主要讲解内容如下： 1. Spark SQL与DataFrame 2. RDD与DataFrame 3. Spark SQL企业级最佳实践 一：Spark SQL与DataFrame 1. Spark SQL非常强大主要体现在一下几点：a) 可以处理一切存储介质和各种格式的数据(可以方便的扩展Spark SQL的功能来支持更多类型
day56-Spark SQL和DataFrame的本质
zhanglin200508的专栏
05-01 504
以下内容来源于DT大数据梦工厂： SparkSQL 于DtaFrame DataFrame与RDD 企业实践 一、    SparkSql于DataFrame sparkSql之所以是出了spark core以外最大的和最受欢迎组件原因是：1、处理各种存储介质和各种格式的数据（可以方便扩展sparkSQL的功能来支持更多类型的数据例如kudu） 2、sparkSQL把数
Spark-SparkSQL与DataFrame的本质
做一只精致IT小白
11-06 244
SparkSQL与DataFrame 一、SparkSQL之所以是除了SparkCore以外最大的和最受关注的组件，原因如下： 处理一切存储介质和各种格式的数据（同时可以方便的扩展SparkSQL的功能来支持更多类型的数据，例如Kudu） Spark SQL把数据仓库的计算能力推向新的高度，不仅是计算速度（Spark SQL比Shark快了至少一个数量级，而Shark比Hive快了至少一个数量级...
浅谈SparkSQL基本概念和原理
小叮当的博客
11-30 731
在Spark2.0之后，推出了SparkSession对象，作为Spark编码的统一入口对象。SparkSession对象既可以用于SparkSQL编程、又可以用于SparkCore RDD编程，主要是通过SparkSession对象获取SparkContext方法。在企业中虽然Hive技术依旧居多，但是作为性能强于Hive的SparkSQL，在未来将会代替Hive成为分布式SQL计算的主流。相同点：两者都是分布式SQL计算引擎，都可以运行Yarn上。
Spark SQL的基本架构与DataFrame概述
晓晓的天空
03-14 968
Spark SQL的基本架构与DataFrame概述
Spark SQL与DataFrame详解:案例解析(第6天)
syhiiu的博客
06-18 1464
本文主要通过各种案例详解了Spark SQL以及DataFrame
Spark中DataFrame与Pandas中DataFrame的区别
给我一点温度
08-20 9586
目录 为何使用 PySpark DataFrame Pandas DataFrame 数据结构特性 Spark DataFrame 数据结构与存储特性 使用 Spark DataFrame 优势 Spark toPandas 详解 Spark与Pandas中的DataFrame的区别 为何使用 PySpark DataFrame 使用 pandas 进行数据处理，dataframe...
第56课：揭秘SparkSQL和DataFrame的本质学习笔记
slq1023的博客
03-26 1381
第56课：揭秘SparkSQL和DataFrame的本质学习笔记 本期内容： 1. SparkSQL与DataFrame 2.  DataFrame与RDD 3. 企业级最佳实践   一．SparkSQL与DataFrame SparkSQL之所以是除了SparkCore外最大的和最受关注的组件，原因是： A）处理一切存储介质和各种格式的数据（同时可以方便地扩展SparkSQL的功
第56课：揭秘Spark SQL和DataFrame的本质
someby的博客
10-26 230
一、SparkSQL与DataFrame   SparkSQL之所以是除了Spark Core以外最大和最受关注的组件，原因是：     a）处理一切存储介质和各种格式的数据(同时可以方便的扩展SparkSQL的功能来支持更多类型的数据，例如Kudu)；     b）SparkSQL把数据仓库的计算能力推向了新的高度，不仅是无敌的计算速度(SparkSQL比Shark快了至少一个数量级，而Shar...
spark sql和DataFrame本质
a11a2233445566的专栏
01-20 774
一：Spark SQL与DataFrame 1， Spark SQL之所以是除了Spark Core以外最大的和最受关注的组件，原因是： a) 处理一切存储介质和各种格式的数据（您同时可以方便的扩展Spark SQL的功能来支持更多类型的数据，例如Kudu）； b) Spark SQL把数据仓库的计算能力推向了新的高度，不仅是无敌的计算速度（Spark SQL比Shark快了至少一个数量级，
Spark SQL与DataFrame
sundujing的博客
05-17 693
Spark SQL与DataFrame RDD与DataFrame Spark SQL企业级最佳实践 一：Spark SQL与DataFrame 1.Spark SQL非常强大主要体现在一下几点：a) 可以处理一切存储介质和各种格式的数据(可以方便的扩展Spark SQL的功能来支持更多类型的数据，例如Kudu)，包括Hive，Mysql，DB2等传统数据库。 b) Spark SQ
Spark性能优化 -- > Spark SQL、DataFrame、Dataset
村头陶员外的博客
01-31 1422
博客内容将首发在微信公众号"跟我一起读论文啦啦"，上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文，欢迎关注！ 本博文将详细分析和总结Spark SQL及其DataFrame、Dataset的相关原理和优化过程。 Spark SQL简介 Spark SQL是Spark中 具有 大规模关系查询的结构化数据处理 模块。spark sql支持大规模的分布式内存计算，并且模糊了RD...
了解SparkSQL、DataFrames和数据集
Tybyqi的博客
10-22 287
对于数据集和DataFrameAPI存在很多混淆，因此在本文中，我们将了解SparkSQL、DataFrames和DataSet。 火花SQL 它是一个用于结构化数据处理的SparkModule，它允许您编写更少的代码来完成任务，并且在幕后，它可以智能地执行优化。SparkSQL模块由两个主要部分组成。我们将只讨论本文的第一部分，即结构API的表示，称为DataFrames和DataSet，它...
Spark3.3.0的DataFrame及Spark SQL编程的性能对比【单机模式下】
云来山更佳，云去山如画
12-16 1745
对比了Spark3.3.0的DataFrame及Spark SQL编程的性能，分析出Shuffle性能瓶颈可能是硬盘IO或者交换机带宽
Spark之SparkSQL和DataFrame
lixinkuan的博客
10-11 1135
目录 一、SparkSQL介绍 二、DataFrame 三、创建DataFrame的几种方式 3.1、读取json格式的文件 3.2、读取json格式的RDD/DataSet 3.3.1、读取RDD创建DataFrame（CreateDFFromRDDWithReflect） 3.3.2、读取RDD创建DataFrame（CreateDFFromRDDWithStruct） 3....
SparkSQL RDD,DataFrame,DataSet三者的区别与联系
Zsigner的博客
06-27 505
推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后个人查阅 https://www.jianshu.com/p/c3b262349226 1.RDD 优点： 1.1 编译时类型安全； 1.2 编译时就能检查出类型错误； 1. 3 面向对象的编程风格； 1.4 直接通过类名点的方式来操作数据缺点： 1.1序列化和反序列化的性能开销； 1.2无论是集群间的通信，还是IO操作都需要对对象...
spark sql 转化成rdd 举例说明
最新发布
04-19
<think>嗯，用户现在想了解如何将Spark SQL转换为RDD的示例代码。根据之前的对话历史，我之前已经回答了关于是否需要学习Scala来使用Spark的问题，现在用户提出了更具体的技术问题，涉及Spark SQL和RDD之间的转换。 首先，我需要回顾用户提供的引用内容。引用[1]提到Spark SQL如何将SQL语句转化为RDD代码，引用[4]和[5]讨论了RDD转换为DataFrame的方法，特别是反射和编程方式。用户现在想要的是反过来，将Spark SQL查询结果或DataFrame转换回RDD的示例。 接下来，我需要确定用户的实际需求。他们可能已经使用Spark SQL处理数据，现在需要利用RDD的底层操作，比如自定义转换或使用一些RDD特有的算子。需要明确的是，DataFrame本身就是基于RDD的，所以转换应该是直接的，但可能需要具体的步骤和代码示例。 考虑到用户之前的提问，他们可能更熟悉Python，但之前的回答也提到Scala的优势。因此，示例代码可能需要同时提供Scala和Python两种版本，以满足不同用户的需求。同时，用户提供的引用中有Scala代码示例，可能他们更倾向于Scala，但最好还是两者兼顾。 另外，引用[3]中提到了RDD的转换算子，比如map，这可能与转换后的RDD操作有关。用户可能需要知道如何对转换后的RDD进行进一步处理，比如使用map、filter等算子。 需要注意，用户的问题是如何将Spark SQL的结果转换为RDD，而引用[4]和[5]主要讨论的是RDD转DataFrame，所以需要反过来处理。DataFrame的底层是RDD[Row]，所以直接调用.rdd方法即可获取RDD，但需要处理Row对象的数据类型转换。 需要确保示例代码正确，并展示如何从DataFrame转换为RDD，以及如何处理Row对象中的字段，比如通过下标或字段名访问数据。同时，可能需要提到性能优化，比如使用case class或指定类型，但用户的问题主要是示例代码，所以这部分可以简略提及。 总结步骤： 1. 创建DataFrame（通过Spark SQL查询或现有数据）。 2. 使用.rdd方法将DataFrame转换为RDD[Row]。 3. 处理Row对象，转换为需要的格式（如元组、case class等）。 4. 展示Scala和Python的示例代码。 5. 强调类型安全和优化建议。 需要检查引用中的内容是否有相关部分支持这些步骤。引用[4]提到DataFrame可以通过反射或编程方式从RDD创建，但反过来转换可能只需调用.rdd。引用[5]指出DataFrame类似二维表格，有结构信息，转换为RDD时需要处理结构信息。 此外，用户可能想知道转换后的RDD可以执行哪些操作，可以结合引用[2]中的转换算子举例，如map、filter等。 最后，确保回答结构清晰，分步骤说明，提供代码示例，并给出注意事项和优化建议，参考之前的回答风格，使用中英文代码注释，并引用相关引用内容。</think>### Spark SQL 转换为 RDD 的示例说明 在 Spark 中，`DataFrame`（通过 Spark SQL 操作生成）本质上是基于 `RDD[Row]` 的封装，因此可以直接通过 `.rdd` 方法转换为 `RDD`。以下是具体示例和关键步骤： --- #### **1. 基础转换：DataFrame → RDD[Row]** 无论 DataFrame 如何生成（通过 SQL 查询或直接创建），均可直接调用 `.rdd` 获取底层 RDD： ```scala // Scala 示例 import org.apache.spark.sql.SparkSession val spark = SparkSession.builder().appName("SQL-to-RDD").getOrCreate() // 创建 DataFrame（示例数据） val df = spark.createDataFrame(Seq( ("Alice", 25), ("Bob", 30) )).toDF("name", "age") // 转换为 RDD[Row] val rdd = df.rdd // RDD[org.apache.spark.sql.Row] // 操作 RDD rdd.foreach(row => println(s"Name: ${row.getString(0)}, Age: ${row.getInt(1)}")) ``` ```python # Python 示例（PySpark） from pyspark.sql import SparkSession spark = SparkSession.builder.appName("SQL-to-RDD").getOrCreate() # 创建 DataFrame df = spark.createDataFrame([("Alice", 25), ("Bob", 30)], ["name", "age"]) # 转换为 RDD rdd = df.rdd # RDD[Row] # 操作 RDD def process_row(row): return (row.name, row.age * 2) processed_rdd = rdd.map(process_row) processed_rdd.foreach(print) # 输出: ("Alice", 50), ("Bob", 60) ``` --- #### **2. 处理 Row 对象** `RDD[Row]` 中的每个元素是 `Row` 类型，可通过以下方式访问数据： - **按字段名**：`row.getAs[类型]("字段名")`（推荐） - **按索引**：`row.getInt(0)`（需确保顺序一致） ```scala // Scala 示例：提取特定字段 val nameRDD = df.rdd.map(row => row.getAs[String]("name")) // RDD[String] ``` --- #### **3. 类型安全优化（Scala 特有）** 通过 **`case class`** 定义 Schema，可直接将 `DataFrame` 转换为类型化的 `RDD`： ```scala // 定义 case class case class Person(name: String, age: Int) // 转换为 Dataset[Person]，再转 RDD val ds = df.as[Person] val typedRDD = ds.rdd // RDD[Person] // 直接操作类型化数据 typedRDD.filter(_.age > 25).foreach(println) // 输出: Person("Bob",30) ``` --- #### **4. 结合 Spark SQL 查询结果** 若通过 SQL 查询生成 DataFrame，转换方式一致： ```scala // Scala 示例 df.createOrReplaceTempView("people") val sqlDF = spark.sql("SELECT name, age FROM people WHERE age > 25") val sqlRDD = sqlDF.rdd // RDD[Row] ``` --- #### **5. 关键区别与注意事项** 1. **Schema 信息丢失** RDD 是无结构的分布式数据集，而 DataFrame 携带 Schema。转换后需手动处理类型和字段[^5]。 2. **性能优化** - 优先使用 DataFrame API（Catalyst 优化器自动优化执行计划）[^1] - 若需复杂操作（如自定义分区、低级别 API），再转为 RDD[^2] 3. **Row 对象限制** `Row` 是通用容器，可能需类型检查（如 `row.getInt` 需确保字段实际为 Int 类型）[^4]。 --- ### 总结 将 Spark SQL 结果转换为 RDD 的直接方法是 **`.rdd`**，但需注意类型安全和 Schema 管理。**优先使用 DataFrame API**，仅在需要底层控制时转为 RDD（如实现复杂业务逻辑或复用现有 RDD 算子）[^3][^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值