Hive中ORC文件压缩及执行效率比较

ORC文件格式在数据存储中的优势与应用
最新推荐文章于 2025-10-30 15:05:01 发布
原创 最新推荐文章于 2025-10-30 15:05:01 发布 · 1.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

文章对比了TEXTFILE、ORC和PARQUET三种文件存储格式，指出ORC在压缩比上优于PARQUET和TEXTFILE（后者未压缩），且查询速度三者相当。ORC常用于节省存储空间，如ODS层数据通常用ORC+ZLIB，而DWD/DWM/DWS/APP层可能选择ORC+Snappy以平衡压缩和查询效率。

比对三种主流的文件存储格式TEXTFILE 、ORC、PARQUET

压缩比：ORC > Parquet > textFile（textfile没有进行压缩）

查询速度：三者几乎一致

hadoop fs -du -s -h hdfs://com1-hdfs/warehouse/TABLE_A/dayno=20230326

11.4 G  34.2 G      hdfs://com1-hdfs/warehouse/TABLE_A/dayno=20230326

11.4 G 单个拷贝大小

34.2 G 三个副本总大小

​ 因为orcfile的压缩快，储存快，所以我们一般会使用orcfile储存格式，压缩算法支持采用orc支持的zlib格式和snappy格式，orc默认采用的是ZLIB压缩。 ​

对于ods层的数据，一般采用orcfile+zlib格式，来节省磁盘的空间 ​

对于DWD/DWM/DWS/APP层，为了执行的效率，可以使用比较土豪的方式：orcfile+snappy

xiaoweiae86
关注
Hive中ORC存储格式的优化方法
chunzhi128的博客
06-05 412
优化Hive ORC存储格式可显著提升性能并降低存储成本。本文提供了多维度优化方法： 核心参数优化：配置存储压缩参数（如块大小、压缩算法）、索引与过滤参数（Bloom Filter设置） 数据组织：采用分区表/分桶表设计，合理设置分桶数 写入优化：批量写入、小文件合并，调整写入性能参数 高级技巧：列顺序调整、动态分区、外部表使用 监控调优：查看元数据、使用ORC工具分析文件结构 典型优化效果：过滤查询性能提升300%，存储空间节省60%-70%。推荐配置模板可快速应用，并针对常见问题提供了解决方案。通过合理
HIve之ORC与Parquet
二锅头的博客
06-25 3141
Orc与parquet的区别 表类型 默认压缩 压缩格式 描述 Orc Zlib Node、Zlib、Snappy Orc可以选择Zlib或Snappy压缩，Snappy需要额外安装 Parquet Uncompressed Uncompressed、Snappy、Gzip、Lzo Parquet使用gzip压缩率高，使用lzo、snappy效率高 ORC列式存储 但支持的压缩格式有限，Orc表支持None、Zlib、Snappy压缩，默认支持Zlib压缩。但这3种压缩格式不支持切
hive orc存储格式不同压缩格式的比较
程老师的博客
06-10 1940
1.建表语句 无压缩格式 NONE CREATE EXTERNAL TABLE `test.test_orc_not_compress`( `apptypeid` string, `uid` string, `srcqid` string, `os` string, `ver` string, `vers` string, `isnewuser` int, `pv` bigint) PARTITIONED BY ( `dt` string) stored
HIVE中ORC表的压缩比较
布里啾啾迪布利多的博客
10-28 5638
ORC支持三种压缩：ZLIB,SNAPPY,NONE。最后一种就是不压缩，orc默认采用的是ZLIB压缩。 1.创建一个不压缩的ORC存储方式表 create table test_orc_none ( track_time string, url string, ip string ) row format delimited fields terminated by '\t' stored as orc tblproperties("orc.compress"="NONE") ; insert in
存储格式对比：Parquet vs ORC vs Avro 压缩率与查询性能实测（附 Benchmark）
最新发布
2501_93892930的博客
10-30 854
我将逐步分析它们的压缩机制、查询效率，并提供一个基于常见测试场景的Benchmark示例（注：Benchmark数据为模拟结果，实际性能取决于硬件、数据量和配置）。压缩率衡量数据存储的空间效率，计算公式为： $$ \text{压缩率} = \frac{\text{原始数据大小}}{\text{压缩后数据大小}} $$ 值越高表示压缩效果越好。列式格式（Parquet和ORC）通常比行式格式（Avro）压缩率更高，因为列数据相似度高，利于压缩算法如Snappy或GZIP。硬件（如SSD）可提升所有格式性能。
更高的压缩比，更好的性能–使用ORC文件格式优化Hive
weixin_34132768的博客
03-08 579
http://lxw1234.com/archives/2016/04/630.htm 关键字：orc、index、hive Hive从0.11版本开始提供了ORC的文件格式，ORC文件不仅仅是一种列式文件存储格式，最重要的是有着很高的压缩比，并且对于MapReduce来说是可切分（Split）的。因此，在Hive中使用ORC作为表的文件存储格式，不仅可以很大程度的节省HDFS存储资源，而且对数据...
Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的存储格式的压缩对比和查询速度对比）
热门推荐
isea_you's blog
12-06 2万+
综述： HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了A方式，那么在向表中插入数据的时候，将会使用该方式向HDFS中添加相应的数据类型。 如果为textfile的文件格式，直接load就OK，不需要走MapRed......
ORC与Parquet表的压缩
pengpengsays
01-05 4093
Hive表压缩功能 除了直接配置MapReduce压缩功能外，Hive的ORC表和Parquet表直接支持表的压缩属性。 但支持的压缩格式有限，ORC表支持None、Zlib、Snappy压缩，默认为ZLIB压缩。但这3种压缩格式不支持切分，所以适合单个文件不是特别大的场景。使用Zlib压缩率高，但效率差一些；使用Snappy效率高，但压缩率低。 Parquet表支持Uncompress、Snappy、Gzip、Lzo压缩，默认不压缩Uncompressed。其中Lzo压缩是支持切分的，所以在表的单个文件
hive orc 和 parquet简单对比
oracle8090的博客
01-14 1996
Impala推荐使用parquet格式，不支持ORC,Rcfile - Hive 0.x版本推荐使用rcfile - PrestoDB推荐使用ORC - Spark支持ORC,Parquet,Rcfile Parquet与ORC对比 orc.compress:表示ORC文件的压缩类型，「可选的类型有NONE、ZLB和SNAPPY，默认值是ZLIB（Snappy不支持切片） parquet. compression:默认值为 UNCOMPRESSED，表示页的..
Hive TextFile、OrcFile存储格式以及相应压缩算法的测试
xiaoleilei666的博客
11-28 3244
一、存储格式介绍 TextFile ·存储格式：作为hive当中默认的存储格式 ·存储方式：行式存储 ·缺点：磁盘开销大，数据解析开销大。 ·用处：可结合Gzip、Bzip2使用(系统自 动检查，执行查询时自动解压)，但使用这种方式，压缩后的文件不支持split，Hive不会对数据进行切分，从而无法对数据进行并行操作。 SequenceFile ·格式支持：SequenceFile是Hadoop API提供的一种二进制文件支持 ·存储方式：行式存储 ·优点：其具有使用方便、可分割、 可压缩的特点 ·压缩选
Hive存储格式和压缩算法
卡卡的博客
10-31 1754
Hive文件存储格式和压缩算法介绍
orcfile 与 parpuet 的压缩测试
然月 枕流君
12-26 1833
近期使用hive对orc 与 parpuet做了初步的压缩比分析, 通过压缩2.3表数据,得到的结论为:   1. 非压缩的orc/parpuet ,parpuer查询与文件大小,应较好一些.   2. 经过压缩算法: parpuet 的gzip压缩方式的压缩比最小, 达到15% - 25%   3. 写入速度最快的应是orc, 较parpuet快了将近1.5倍. 后续会对
hive存储压缩格式对比说明
luo981695830的博客
07-04 1292
hive压缩说明
Hive不同存储格式下的压缩算法对比
窗外的屋檐
04-27 1055
压缩算法 Text格式 Parquet格式 ORC格式 不压缩 119.2G 54.1G 20.0G Snappy压缩 30.2 G 23.6G 1...
文件格式对比ORC-Parquet，存储格式对比Gzip-Bzip2-Snappy，Hive和Spark对比
someInNeed的博客
02-14 1673
Parquet常用于Impala、Drill、Spark、Arrow；5.处理深层次文件 parquet设计之初就是为了处理嵌套式数据如json。除此之外没有比ORC好太多的地方。impala和spark现在很流行所以parquet存储格式流行。4.orc支持事务表分桶update操作，parquet完全不支持。1.存储文件的压缩比总结：ORC > Parquet。2.存储文件的查询速度总结：查询速度相近，ORC好一点点。3.可兼容的平台：ORC常用于Hive、Presto；
hive配置orc存储格式，支持SNAPPY和ZLIB压缩方式
Good good study,day day up
07-05 2525
hive配置orc存储格式，支持SNAPPY和ZLIB压缩方式。1、指定压缩方式为SNAPPY。2、指定压缩方式为ZLIB。默认为ZLIB压缩方式。
hive数据压缩
未来将会如何
04-06 454
hive表通常压缩为保存为orc文件，默认压缩方法为zlib（io.compression.codecs=org.apache.hadoop.io.compress.DefaultCodec），压缩比约为11% -- 创建orc压缩表 CREATE TABLE `zxdm_dim.d_acct_info_backup_orc`( `acct_id` string, `acct_name...
hive的orc和parquet和textfile三种格式的压缩与存储
weixin_44361667的博客
03-07 4714
数据库压缩方式有四种 分别是 orc格式 parquet格式 和 以及默认的textfile格式 这三种格式 orc的压缩效率最高 其次是parquet 最后是默认的textfile 我的文件分别用三种格式创建数据库并加载进去 textfile格式 文件大小未改变 parquet 格式 文件变小一点 orc格式 文件压缩效率最高 文件大小：Textfile>parquet&...
ORC和Parquet的一些简单对比
zhangs_123的博客
04-02 4248
目录一、简介1.1 ORC二、测试环境说明2.1.集群环境2.2 测试数据2.2.1 TPC-H使用1）tpch下载2）解压3)配置4）生成执行命令，生成dbgen2.2.2 建表、sql和数据准备1）建表语句见附件，分别建Textfile、ORC、Parquet表2）导入数据3）查询语句见附件三、Impala查询ORC和Parquet对比四、ORC和Parquet的压缩效率对比五、ORC和Parquet的简单查询效率对比六、总结 一、简介 目前我们Hive数仓建表存储格式主要是Parquet+默认压缩，因
Flink自定义工具类：高效合并Hadoop/Hive中的ORC小文件
标题说明：“（orc + snappy / zlib ）多线程并行合并小文件工具类（出自：flink自定义合并orc小文件处）”，说明了该工具类主要作用于与Hadoop生态系统中的文件格式和压缩算法紧密相关。首先，orc是一种专门用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值