Spark综合学习笔记（十八）SparkSQL数据抽象

最新推荐文章于 2023-06-23 15:04:28 发布
最新推荐文章于 2023-06-23 15:04:28 发布
阅读量6.6k 收藏 2
点赞数
分类专栏： 大数据 SQL spark 文章标签： postman 测试工具 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41311528/article/details/121534606
版权
大数据 同时被 3 个专栏收录
85 篇文章 2 订阅
订阅专栏
spark
52 篇文章 2 订阅
订阅专栏
SQL
5 篇文章 0 订阅
订阅专栏

学习致谢

https://www.bilibili.com/video/BV1Xz4y1m7cv?p=53

引言

SparkCore的数据抽象:RDD
SparkStreaming的数据抽象:DStream,底层是RDD
SparkSQL的数据抽象:DataFrame和DataSet,底层是RDD

在这里插入图片描述

DataFrame是什么

DataFrame=RDD-泛型+Schema约束（指定了字段名和类型）+SQL操作+优化
DataFrame就是在RDD的基础之上做了进一步的封装，支持SQL操作！
DataFrame就是一个分布式表！

DataSet是什么

DataSet=DataFrame+泛型
DataSet = RDD + Schema约束(指定了字段名和类型)+SQL操作＋优化
DataSet就是在RDD的基础之上做了进一步的封装,支持SQL操作!
DataSet就是一个分布式表!

斯特凡今天也很帅
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sparkSql 中三大数据抽象Rdd,dataFrame,dataSet 详述
weixin_43548518的博客
03-10 1087
1.Rdd 2.dateFrame 3.dataSet 4.Rdd和dataFrame 相互转化 5.Rdd和dataSet 相互转化 6.dataFrame和dataSet 相互转化 7.Rdd,dataFrame,dataSet的共性,区别
Tensorflow2.x的记录
weixin_43213607的博客
10-20 298
一、keras与eager执行模式 eager执行模式可以仅仅通过组装层就可以定义、训练并评估模型 二、Eager模式 在tf2.x中，默认执行的是eager模式 1.eager模式返回的是tf.Tensorf对象，而静态图模式执行回话后，返回的是Numpy数组对象 2.在eager模式中，print返回的tf.Tensor对象与静态图的区别： 静态图返回例子的是: ...
spark学习笔记一
01-20
一.spark与hadoop比较 Spark是一个计算框架相当于Hadoop的MapReduce。Hadoop中是包含计算框架MapReduce和分布式文件系统HDFS，更广泛的讲是还包含其生态系统上的其他系统比如Hbase和Hive等。 Spark相比MapReduce的优点： 1.中间结果的输出 （1）MapReduce的话计算结果会产生很多stage，并且会依赖底层HDFS文件系统来存储每个stage的结果，这样会产生很大的开销。 （2）Spark的话采用延迟计算的策略将任务抽象成有向无环图（DAG）,多个stage串行或者并行计算无需将stage中间结果输出到HDFS而是将中间结果缓存
Spark 基本知识介绍
不忘初欣丶的博客
04-05 2439
spark基本概念理解
Spark系列 - 2 - 三大数据结构
IfNotExists的博客
06-23 477
为能够进行高并发和高吞吐的数据处理，Spark封装了三大数据结构，用于不同的数据场景。 包括 RDD、累加器、广播变量。下面详细介绍这三大数据结构。
SparkSQL数据抽象
jx的博客
01-15 281
DataFrame是以RDD为基础的分布式数据集，类似传统数据库的二维表格DataFrame和RDD的区别在于：前者有schema的元信息，即DataFrame所表示的二维表格每一列都有名称和类型SparkSQL可以查看更多的结构细腻些，可以针对数据源进行优化，RDD无法得知数据的内部结构。
PySpark之SparkSQL的数据抽象
feizuiku0116的博客
02-10 807
一、SparkSQL和Hive的异同 Hive和Spark均是：“分布式SQL计算引擎” 均是构建大规模结构化数据计算的绝佳利器，同时SparkSQL拥有更好的性能 都可以运行在YARN上 二、SparkSQL的数据抽象 一、Pandas-DataFrame 二维表数据结构 单机（本地）集合 二、SparkCore-RDD 无标准数据结构，存储什么数据均可 分布式集合（分区） 三、SparkSQL-DataFrame 二维表数据结构 分布式集合（分区） 四、SparkSQL For JVM
SparkSql:数据抽象（DataFrame与DataSet详解）
04-23 4092
DataFrame 什么是DataFrame DataFrame是一种以RDD为基础的带有Schema元信息的分布式数据集，类似于传统数据库的二维表格 。 DataSet 什么是DataSet DataSet是保存了更多的描述信息，类型信息的分布式数据集。 与RDD相比，保存了更多的描述信息，概念上等同于关系型数据库中的二维表。 与DataFrame相比，保存了类型信息，是强类型的，提供了...
Spark学习之路【SparkSQL入门解析】
01-07
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用 【二】特点 【2.1】易整合 Spark SQL可以使用SQL或熟悉的DataFrame API在Spark程序中查询结构...
Spark学习笔记—Spark计算模型
01-07
RDD是Spark核心数据结构，它是逻辑集的实体，在集群中多台机器之间进行数据分区，通过对多台机器上RDD分区的控制，能够减少数据的重排(data Shuffling)。Spark通过partitionBy运算符对原始RDD进行数据再分配从而创建...
Spark学习笔记（三）：Spark DataFrame
01-20
系列博客是学习厦门大学林子雨老师spark编程基础课程的笔记，方便回顾 系列博客： Spark学习笔记（一）：Spark概述与运行原理  Spark学习笔记（二）：RDD编程基础  Spark SQL增加了DataFrame（即带有Schema信息的...
Spark大数据处理学习笔记
09-18
Spark大数据处理学习笔记
PySpark基础入门（7）：Spark SQL
WHY的博客
05-08 1335
SparkSQL 是Spark的一个模块, 用于处理海量结构化数据；PySpark使用DataFrame进行数据抽象，是一个二维表数据结构，适用于分布式集合
简单回答：SparkSQL数据抽象和SparkSQL底层执行过程
大数据星球-浪尖
09-30 267
SparkSQL数据抽象引入DataFrame就易用性而言，对比传统的MapReduce API，Spark的RDD API有了数量级的飞跃并不为过。然而，对于没有MapReduce和函数...
Spark SQL及RDD、DataFrame、DataSet数据抽象
one111a的博客
08-13 678
** 一、Spark SQL是什么？ ** 1、Spark SQL是Spark套件中的一个模块，它将数据的计算任务通过SQL的形式转换成了RDD的计 算，类似于Hive通过SQL的形式将数据的计算任务转换成了MapReduce。 2、Spark SQL的特点： (1) 和Spark Core的无缝集成，我可以在写整个RDD应用的时候，配置Spark SQL来实现我的逻辑 (2) 统一的数据访问方式...
spark--Spark SQL数据抽象-★★★★
qq_46893497的博客
02-22 297
Spark SQL数据抽象-★★★★引入RDD和DataFrame 和DataSet图解-★★★★注意 引入 我们之前学习的SparkCore中的RDD是Spark最为底层/基础的数据抽象 后续学习的其他的Spark的数据抽象底层都可以理解成是RDD SparkSQL的数据抽象底层也是RDD Spark1.0 SchemaRDD --已经淘汰 ,不再使用了 Spark1.3 DataFrame --目前还继续使用 Spark1.6 DataSet --目前还继续使用 所以对于SparkSQL的数据抽象,我
Spark -- Spark SQL 简介 数据抽象
kismet
04-10 1105
Spark SQL 简介 Spark SQL官方介绍 ●官网 http://spark.apache.org/sql/ Spark SQL是Spark用来处理结构化数据的一个模块。 Spark SQL还提供了多种使用方式，包括DataFrames API和Datasets API。但无论是哪种API或者是编程语言，它们都是基于同样的执行引擎，因此你可以在不同的API之间随意切换，它们...
Apache SparkSQL 数据抽象
大数据流浪法师的学习笔记与分享
04-09 254
Spark SQL数据抽象 DataFrame DataFrame是一种以RDD为基础的带有Schema元信息的分布式数据集 类似于传统数据库的二维表格 。 DataSet DataSet是保存了更多的描述信息，类型信息的分布式数据集。 与RDD相比，保存了更多的描述信息，概念上等同于关系型数据库中的二维表。 与DataFrame相比，保存了类型信息，是强类型的，提供了编译时类型检查， 调用Da...
基于Spark SQL的数据探索
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-04 1087
掌握Spark SQL的探索性数据分析技术。1、进行探索性数据分析。   2、探索性数据可视化。   3、对数据进行采样。   4、创建数据透视表。Exploratory Data Analysis (EDA)，或Initial Data Analysis (IDA)，是一种数据分析方法，试图最大限度地洞察数据。这包括评估数据的质量和结构，计算汇总或描述性统计，以及绘制适当的图表。它可以揭示底层结构，并建议如何建模数据。此外，EDA帮助我们检测数据中的异常值、错误和异常，并且决定如何处理这些数据通常比其他更
spark3.0版本--sparksql
最新发布
09-26
### 回答1： Spark 3.0版本中的Spark SQL是一个用于处理结构化数据的模块，它提供了一种基于SQL的接口，可以...无论是在数据分析、数据仓库建设还是在机器学习和深度学习等领域，Spark SQL都是一款非常有价值的工具。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值