spark3使用zstd压缩

最新推荐文章于 2024-02-07 13:57:00 发布
最新推荐文章于 2024-02-07 13:57:00 发布
阅读量435 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43015677/article/details/131686983
版权

spark想不进行文件切分，文件是多大就起几个task，参数设置
–conf spark.sql.files.maxPartitionBytes=2147483648 --conf spark.sql.files.openCostInBytes=2147483648

写出的文件使用zstd压缩，spark3才开始支持
–conf spark.sql.parquet.compression.codec=zstd

荣晓
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Spark版本更新]--Spark-2.4.0 发布说明
欢迎来到我的博客，一起探索代码里的世界！
11-09 6513
2018-11-02 Apache Spark 官方发布了 2.4.0版本，以下是 Release Notes，供参考：  Sub-task [ SPARK-6236 ] - 支持大于2G的缓存块 [ SPARK-6237 ] - 支持上传块> 2GB作为流 [ SPARK-10884 ] - 支持针对回归和分类相关模型的单实例预测 [ SPARK-11239 ] - 用于ML线性...
Hbase压缩之ZSTD
南风知我意
08-11 2431
Hbase压缩之ZSTD
Go-Sparkzstd-用golang编写的zstd解压缩程序
08-14
Sparkzstd - 用golang编写的zstd解压缩程序
spark3使用hive zstd压缩格式总结
雾岛与鲸的博客
10-10 1590
ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC，RCFile，TextFile，JsonFile，Parquet，Squence，CSV。ZSTD压缩格式的表和其他普通压缩表的SQL操作没有区别，可支持正常的增删查及聚合类SQL操作。写出的文件使用zstd压缩，spark3才开始支持。
zstd字典压缩的大数据生产实践 & ctf逆向出题启发
weixin_42100211的博客
02-07 1186
当然，刚刚提及的所有压缩算法，对hash值这种都没法压缩，因为hash的灵魂就是防碰撞，每个都是低频。在一定范围内，字典越大，压缩越慢，压缩率越高，也需要配合更高的压缩等级。一句话一般来说以分号结尾，在分号之前加上一个问号，其实是一种match的简写，如果ok就正常返回，如果报错就返回error。unwrap()也是异常处理，相当于把result解包，如果ok就会返回正常结果，如果出错，就panic崩溃。rust函数往往返回一个复合的result类型，它里面的内容可能是好消息，也可能是坏消息。
Hadoop开启Zstd压缩能力
weixin_42414008的博客
07-02 1970
HADOOP-13578(https://issues.apache.org/jira/browse/HADOOP-13578)在Hadoop3中增加了Zstd压缩本地库，需要依赖facebook的Zstd库。编译Hadoop时开启Zstd本地库编译的步骤如下： 1.下载编译并安装Zstd依赖库 wgethttps://github.com/facebook/zstd/releases/download/v1.4.4/zstd-1.4.4.tar.gz tar -xzf z...
Flink实战之FileSystem-parquet支持ZSTD压缩
weixin_41608066的博客
10-28 1554
==
Uber 如何在 Apache Parquet 中使用 ZSTD 压缩减少大量存储空间实践
过往记忆大数据
03-14 3041
背景我们基于 Apache Hadoop® 的数据平台以最小的延迟支持了数百 PB 的分析数据，并将其存储在基于 HDFS 之上的数据湖中。我们使用 Apache Hudi™ 作为我们表的...
spark压缩 配置
zhuiqiuuuu的博客
09-29 4905
压缩 相关配置 spark.broadcast.compress 默认值：true。 在发送广播变量之前是否压缩它。 spark.io.compression.codec 默认值：snappy。压缩诸如RDD分区、广播变量、shuffle输出等内部数据的编码解码器。默认情况下，Spark提供了三种选择：lz4, lzf和snappy。你也可以用完整的类名来制定
Spark中的压缩编解码的最佳实践
01-04
该分享介绍Intel大数据团队在为Spark实现 ISA-L(iGZIP), LZ4-IPP, ZLIB-IPP 和 ZSTD等针对IA硬件平台优化的算法支持，并使用基准测试集(TPC-DS/HiBench)对这些压缩编解码在Spark上的性能表现进行的详细分析和对比
zstd解压缩库.rar
06-15
zstd是Facebook在2016年开源的新无损压缩算法，附件是已编译的32位和64位静态库，头文件有c接口介绍，在vs工程中选择配置属性-c\c++ - 代码生成-运行库-多线程调试/MTd
spark3.2.0新特性
IreneByron的博客
06-13 742
spark3.2.0新特性整理
zstd 压缩算法
eagooqi的专栏
03-11 9788
1.Ztsandard介绍 Zstandard（或Zstd）是由Facebook的Yann Collet开发的一个无损数据压缩算法，Zstandard在设计上与DEFLATE（.zip、gzip）算法有着差不多的压缩比，但有更高的压缩和解压缩速度。在其官网(https://github.com/facebook/zstd)给出的性能测试中，Zstandard比snappy、lzo等算法有较高的优势。 Compressor name Ratio ...
spark的压缩使用和简单介绍
zeng6325998的博客
10-30 2560
总览 今天碰到了一个spark sql 压缩的问题，所以今天来讲一下spark的压缩 一切参考spark2.4.1版本来讲解 spark 压缩分为3块，rdd压缩 broadcast压缩 和spark sql的压缩 1、rdd 压缩 spark.rdd.compress Whether to compress serialized RDD partitions (e.g. for StorageLevel.MEMORY_ONLY_SER in Java and Scala or StorageLe
Spark在降本增效中的一些思考
monkeyboy_tech的博客
01-19 1087
这也是笔者一直在关注的项目，根据 TPC-H 测试结果显示起码有2倍的性能提升，但是实际效果还是得看SQL的pattern。但是由于目前我们的Spark 是基于 3.5.0的，是比较新的版本，而社区这块的融合还在继续，所以这块今年应该可以行动起来,可以参考。注意： 我们批集群的CPU利用率在60%以上，引入zstd以后会增加CPU的使用率，而且在这种 long running的服务下，得增加。,但是这里请注意一点，该问题的提出点是基于 HDD 类型的磁盘的，因为我们现在是基于。
zstd优秀的数据压缩算法，大数据小数据包
yizhiniu_xuyw的专栏
02-14 8333
zstd是Facebook在2016年开源的新无损压缩算法，优点是压缩率和压缩/解压缩性能都很突出。 在我们测试的文本日志压缩场景中，压缩率比gzip提高一倍，压缩性能与lz4、snappy相当甚至更好，是gzip的10倍以上。 zstd还有一个特别的功能，支持以训练方式生成字典文件，相比传统压缩方式能大大的提高小数据包的压缩率。 在过去的两年里，Linux内核、HTTP协议、以及一系列的大数据工具（包括Hadoop 3.0.0，HBase 2.0.0，Spark 2.3.0，Kafka 2.1.0.
spark快速大数据分析之数据读取与保存
何成俭的博客
05-24 6898
1 动机   探索spark对不同地方或不同的数据的读取和保存方法,通过本节学习可以掌握将数据读取到spark,并将计算结果以你希望的方式存储起来。 spark生态常见三种数据源： 文件格式与文件系统，spark SQL中的结构化数据源， 数据库与键值存储 2文件格式       a.0....逗号分隔值CSV与制表符分隔值      a.文本文件 ------非结构化  
spark-参数配置总结
wyc_595998412的博客
08-29 4972
Spark属性控制大多数应用程序设置，并为每个应用程序单独配置。这些属性可以直接在传递给你 的SparkConf上设置 SparkContext。SparkConf允许您通过该set()方法配置一些常见属性（例如主URL和应用程序名称）以及任意键值对 。例如，我们可以使用两个线程初始化应用程序，如下所示： 请注意，我们使用local [2]运行，这意味着两个线程 - 代表“最小”并行性，这可以帮...
【Spark版本更新】--Spark-3.2.0 发布说明
欢迎来到我的博客，一起探索代码里的世界！
10-21 2400
Apache Spark 官方在 2021 年 10 月 13 日发布了 3.2.0 版本，Jira release 页面点击：链接。以下是 Release Notes，供参考： Sub-task [SPARK-26164] - [SQL] 允许 FileFormatWriter 写入多个分区/存储桶而无需排序 [SPARK-26341] - 在 Stages 选项卡中公开阶段级别的执行程序内存指标 [SPARK-26346] - 将镶木地板升级到 1.11.1 [SPARK-26...
ZSTD分段压缩命令
最新发布
05-31
ZSTD是一种高性能压缩算法，支持多种不同的压缩模式和参数设置。ZSTD分段压缩是ZSTD算法的一种特殊用法，它允许将一个大文件分成若干个小块进行压缩，可以提高压缩速度和效率。 ZSTD分段压缩命令包括两个部分：切分文件和压缩文件。首先使用“split”命令将大文件切分成若干个小文件，例如： ``` split -b 100M input_file output_file_prefix ``` 这个命令将输入文件切分成100MB大小的小文件，并将输出文件以output_file_prefix为前缀命名。接着，使用“zstd”命令对小文件进行压缩，例如： ``` zstd -T8 --ultra -22 output_file_prefix* ``` 这个命令将使用8个线程并使用最高压缩级别对所有以output_file_prefix为前缀的小文件进行压缩。压缩后的文件将被存储在原来的位置上，并添加“.zst”作为扩展名。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值