SparkSQL中的Parquet存储格式总结

最新推荐文章于 2024-07-19 23:33:41 发布
最新推荐文章于 2024-07-19 23:33:41 发布
阅读量6.5k 收藏 20
点赞数 3
分类专栏： # spark 文章标签： Spark SparkSQL Parquet
本文为博主原创文章，转载请注明出处http://blog.csdn.net/wsdc0521
本文链接：https://blog.csdn.net/wsdc0521/article/details/102839077
版权

Parquet是一种列式存储格式，很多种处理引擎都支持这种存储格式，也是sparksql的默认存储格式。Spark SQL支持灵活的读和写Parquet文件，并且对parquet文件的schema可以自动解析。当Spark SQL需要写成Parquet文件时，处于兼容的原因所有的列都被自动转化为了nullable。

1. 读写Parquet文件

 

 

2. 分区发现

分区表时很多系统支持的，比如hive，对于一个分区表，往往是采用表中的某一或多个列去作为分区的依据，分区是以文件目录的形式体现。所有内置的文件源(Text/CSV/JSON/ORC/Parquet)都支持自动的发现和推测分区信息。例如，我们想取两个分区列，gender和country，先按照性别分区，再按照国家分区：

 

SparkSession.read.parquet 或者 SparkSession.read.load读取的目录为path/to/table的时候，会自动从路径下抽取分区信息。返回DataFrame的表结构为：

最低0.47元/天 解锁文章
王义凯_Rick
关注
专栏目录
hivesql sparksql CTAS 建表使用parquet列式存储
yy的博客
01-17 427
sparksql hivesql
Spark 使用 parquet 列式存储格式优化速度
RayfunC的博客
01-24 3711
1）如果说 HDFS 是大数据时代分布式文件系统首选标准，那么 parquet 则是整个大数据时代文件存储格式实时首选标准。 2）速度更快：从使用 spark sql 操作普通文件 CSV 和 parquet 文件速度对比上看，绝大多数情况会比使用 csv 等普通文件速度提升10倍左右，在一些普通文件系统无法在 spark上成功运行的情况下，使用 parquet 很多时候可以成功运行。 3）p...
spark.sql.parquet.writeLegacyFormat：ParquetDecodingException: Can not read value at 0 in block -1 in
大数据学习与分享的博客
11-06 3068
系列二 在此之前可以先阅读文章：SparkSQL与Hive metastore Parquet转换 在说问题之前首先了解一个参数spark.sql.parquet.writeLegacyFormat（默认false）的作用： 设置为true时，数据会以Spark1.4和更早的版本的格式写入。比如decimal类型的值会被以Apache Parquet的fixed-length byte array格式写出，该格式是其他系统例如Hive、Impala等使用的。 设置为false时，会使用parquet的新版格
spark SQL学习parquet文件和people.json文件
01-03
users.parquet people.json spark ,spark学习中的parquet文件和json文件
【数据库系列】Parquet 文件介绍
檀越的博客
07-19 3万+
Parquet 文件以其高效的列存储机制、压缩能力和跨平台兼容性，在大数据领域中扮演着越来越重要的角色。尽管存在一些局限性，如写入性能和随机访问的限制，但通过合理的数据管理和优化，Parquet 文件可以显著提高数据处理的效率。随着技术的不断发展，我们期待 Parquet 文件格式在未来能够提供更多的功能和优化，以满足不断增长的数据存储和处理需求。👍🏻呗。❤️❤️❤️本人水平有限，如有纰漏，欢迎各位大佬评论批评指正！😄😄😄👍 👍 👍。
Spark SQL的Parquet那些事儿.docx
大数据星球-浪尖
04-28 1640
Parquet是一种列式存储格式，很多种处理引擎都支持这种存储格式，也是sparksql的默认存储格式。Spark SQL支持灵活的读和写Parquet文件，并且对par...
Spark SQL下的Parquet使用最佳实践和代码实战
sundujing的博客
05-17 1万+
一：Spark SQL下的Parquet使用最佳实践1，过去整个业界对大数据的分析的技术栈的Pipeline一般分为一下两种方式：A）Data Source -> HDFS -> MR/Hive/Spark(相当于ETL) -> HDFS Parquet -> SparkSQL/impala -> Result Service(可以放在DB中，也有可能被通过JDBC/ODBC来作为数据服务使用)；B
SparkSQL-Parquet文件
上海一九四三
08-21 1780
Parquet是一种支持多种数据处理系统的柱状的数据格式，Parquet文件中保留了原始数据的模式。Spark SQL提供了Parquet文件的读写功能。 列式存储和行式存储相比有哪些优势呢？ 可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。 压缩编码可以降低磁盘存储空间。由于同一列的数据类型是一样的，可以使用更高效的压缩编码（例如Run Length Encoding和Delt...
Spark SQL数据源：Parquet文件
梁辰兴的博客
06-14 3177
Apache Parquet是Hadoop生态系统中任何项目都可以使用的列式存储格式，不受数据处理框架、数据模型和编程语言的影响。Spark SQL支持对Parquet文件的读写，并且可以自动保存源数据的Schema。当写入Parquet文件时，为了提高兼容性，所有列都会自动转换为“可为空”状态。与Protocol Buffer、Avro和Thrift一样，Parquet也支持Schema合并。
Sparksql读impala hive表下parquet文件 String读取问题分享
oliver_lorne的博客
12-22 456
用sparkSql 读取parquet文件数据传输到hbase parquet文件在impala创建的hive表下 核心代码： val df = spark.read .option("mergeSchema", "true") .parquet(path) .select("xxx1", "xxx2", "xxx3") df.show() 发现： +---------+---------------+--------------------+ |200000466| ...
parquet-index：Parquet表的Spark SQL索引
01-28
实木复合地板指数 Parquet表的Spark SQL索引 总览 包允许为Parquet表创建索引（作为和），以减少在Spark SQL中用于几乎交互式分析或点查询时的查询延迟。 它设计用于表不经常更改但经常用于查询的用例，例如使用Thrift JDBC / ODBC服务器。 建立索引后，架构和文件列表（包括分区）将自动从索引元存储中解析，而不是每次创建数据源时都推断架构。 项目是实验性的。 欢迎任何反馈，问题或PR。 文档反映了master分支中的更改，有关特定版本的文档，请选择相应的版本标签或分支。 元商店 Metastore保留有关所有索引表的信息，并且可以在本地文件系统或HDFS（请参阅下面的可用选项）上创建，并支持索引的内存中高速缓存（第一次扫描后）。 每个创建的索引都包括不同的统计信息（最小/最大/空），以及可选的是，对索引列的列过滤器统计信息（例如，bloom过滤器）。 支持的谓词 当提供的谓词包含一个或多个带索引列的过滤器时，将自动启用索引进行扫描。 如果没有在索引列上提供过滤器，则使用常规扫描，但具有已解决的分区和架构的优势。 分区修剪后会应用最小值/最大值统计信
Parquet与ORC：高性能列式存储格式
热门推荐
Hello World
07-09 6万+
背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本文主要从实现的角度上对比分析
第63课：Spark SQL下Parquet内幕深度解密学习笔记
slq1023的博客
04-02 1892
第63课：Spark SQL下Parquet内幕深度解密学习笔记 本期内容： 1. SparkSQL下的Parquet意义再思考 2. SparkSQL下的Parquet内幕解密   一．SparkSQL下的Parquet意义再思考 Twitter用Parquet节省了70%存储费用。 1. 如果HDFS是大数据时代分布式文件系统存储的事实标准的话，Parquet则是整个大数据时代文
Spark SQL 操作 Parquet 类型文件
weixin_37417954的博客
07-04 2297
Parquet介绍 Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera(由于Impala的缘故)合作开发完成并开源，2015年5月从Apache的孵化器里...
八.SparkSQL之外部数据源操作parquet文件
飞翔的宇宙
10-11 894
一.引言 前面讲的SparkSQL都是通过代码操作,这里换另外一种方式,通过命令的形式进行操作,实际就是代码放在命令行中执行. 概念:      方便快速的从不同的数据源(json,parquet,rdbms),经过混和处理(json,join,parquet)再将处理结果以特定的格式(json,parquet)写会到指定的系统(HD
Spark——Parquet格式 vs ORC格式
aof
03-21 1958
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC#:~:text=The%20Optimized%20Row%20Columnar%20(ORC,%2C%20writing%2C%20and%20processing%20data. https://orc.apache.org/docs/
Spark大数据处理讲课笔记4.3 Spark SQL数据源 - Parquet文件
ting_tu_ran_de的博客
06-09 703
当写入Parquet文件时，为了提高兼容性，所有列都会自动转换为“可为空”状态。导入SaveMode类后，执行命令：usersdf.select("name", "favorite_color").write.mode(SaveMode.Overwrite)parquet("hdfs://master:9000/result")执行命令：usersdf.select("name", "favorite_color").write.parquet("hdfs://master:9000/result")
SparkSQL：Parquet数据源之合并元数据
weixin_33859504的博客
09-26 217
合并元数据 如同ProtocolBuffer，Avro，Thrift一样，Parquet也是支持元数据合并的。用户可以在一开始就定义一个简单的元数据，然后随着业务需要，逐渐往元数据中添加更多的列。在这种情况下，用户可能会创建多个Parquet文件，有着多个不同的但是却互相兼容的元数据。Parquet数据源支持自动推断出这种情况，并且进行多个Parquet文件的元数据的合并。 因为元数据合并是一种相...
sparksql 指定输出格式OUTPUTFORMAT
最新发布
08-07
Spark SQL中的`OUTPUTFORMAT`是一个用于设置数据写入时所使用的文件输出格式的属性。当你需要将查询结果持久化到外部存储系统（如HDFS、S3等）时，可以指定`OUTPUTFORMAT`。常见的输出格式有： 1. `org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat`: 这个格式会忽略列值为空的行，并作为文本文件保存，每一行是一个记录。 2. `org.apache.spark.sql.hive.HiveExternalTableFormat`: Spark SQL提供的默认格式，它是Hive的输出格式，适用于写入Hive表或者Hadoop支持的其他格式。 3. `parquet` 或 `com.databricks.spark.csv`: 分别表示Parquet（二进制列式存储格式，适合性能优化）和CSV（逗号分隔值，方便人类阅读）格式。 4. `orc` 或 `com.databricks.spark.orc`: 类似于Parquet，是另一种高效的列式存储格式。 设置`OUTPUTFORMAT`的方式通常是通过`saveAsTextFile()`、`write.format()`等函数的format参数，例如： ```scala val df = // 加载数据 df.write .format("parquet") // 或者 "csv", "orc", "textfile" 等 .option("path", "hdfs://your-path") .mode(SaveMode.Overwrite) // 保存模式 .outputMode(OutputMode.Append) // 如果你想追加新数据 .save() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王义凯_Rick

遇见即是缘，路过就给个评论吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值