orcfile 与 parpuet 的压缩测试

最新推荐文章于 2024-06-27 14:47:30 发布
最新推荐文章于 2024-06-27 14:47:30 发布
阅读量1.7k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w412692660/article/details/50410639
版权
近期使用hive对orc 与 parpuet做了初步的压缩比分析, 通过压缩2.3表数据,得到的结论为:

  1. 非压缩的orc/parpuet ,parpuer查询与文件大小,应较好一些.

  2. 经过压缩算法: parpuet 的gzip压缩方式的压缩比最小, 达到15% - 25%

  3. 写入速度最快的应是orc, 较parpuet快了将近1.5倍.


后续会对orc/parpuet进行深入的测试及性能分析

对比说明:



然月枕流君
关注
专栏目录
hdfs orc格式_Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的存储格式的压缩对比和查询速度对比）...
weixin_39949473的博客
12-20 1074
Hive文件存储格式(TEXTFILE、ORC、PARQUET三者的存储格式的压缩对比和查询速度对比)发布时间：2018-12-06 11:51,浏览次数：2434, 标签：HiveTEXTFILEORCPARQUET综述：HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的...
java读写orc文件_使用JAVA API 解析ORC File
weixin_29258297的博客
02-26 2181
使用JAVA API 解析ORC Fileorc File 的解析过程中，使用FileInputFormat的getSplits(conf, 1)函数，然后使用 RecordReaderreader = in.getRecordReader(splits[0], conf, Reporter.NULL);解析ORCfile， 发现当ORC 文件的比较大的时候，超过256M时，不能读取所有的数据。比...
Hive ORC格式存储时压缩测试
大数据流浪法师的学习笔记与分享
11-28 1521
存储和压缩结合 官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC ORC存储方式的压缩： Key Default Notes orc.compress ZLIB high level compression (one of NONE, ZLIB, SNAPPY) orc.compress...
译：ORCFILE IN HDP 2:更好的压缩，更高的性能
weixin_34233679的博客
07-11 127
原文地址： https://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/ ORCFILE IN HDP 2: BETTER COMPRESSION, BETTER PERFORMANCE by Carter Shanklin ORCFILE IN HDP 2:更好的压缩，更高...
ORC与Parquet列式存储的区别
最新发布
Java/Python大数据成长之路
06-27 588
谓词下推使用这些索引来确定需要为特定查询读取文件中的哪些条带，而行索引可以将搜索范围缩小到特定的10000行集合ORC支持Hive中的完整数据类型，包括复杂类型：Struct、List、Map和Union。列式存储（Columnar Storage）是一种优化的数据存储方式，与传统的行式存储（Row Storage）相比，列式存储在数据压缩、查询性能、I/O效率等方面具有明显的优势。Apache Parquet是一种开源的列式数据文件格式，旨在实现高效的数据存储和检索。
Hive中ORC文件压缩及执行效率比较
xiaoweiae86的专栏
03-28 1198
​ 因为orcfile的压缩快，储存快，所以我们一般会使用orcfile储存格式，压缩算法支持采用orc支持的zlib格式和snappy格式，对于DWD/DWM/DWS/APP层，为了执行的效率，可以使用比较土豪的方式：orcfile+snappy。比对三种主流的文件存储格式TEXTFILE 、ORC、PARQUET。层的数据，一般采用orcfile+zlib格式，来节省磁盘的空间 ​。11.4 G 单个拷贝大小。34.2 G 三个副本总大小。查询速度：三者几乎一致。
Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的存储格式的压缩对比和查询速度对比）
isea_you's blog
12-06 2万+
综述： HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了A方式，那么在向表中插入数据的时候，将会使用该方式向HDFS中添加相应的数据类型。 如果为textfile的文件格式，直接load就OK，不需要走MapRed......
21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件
05-29
ParquetFile也是列式存储格式，与ORCFile类似，它提供了优秀的压缩效率和查询性能。ParquetFile是跨平台的，被多个数据处理框架如Apache Spark、Hive等广泛支持。与ORCFile相比，ParquetFile可能在某些场景下提供更...
hadoop关于txt convert orcfile的应用
08-09
标题 "hadoop关于txt convert orcfile的应用" 涉及的是在Hadoop生态系统中将文本文件（TXT格式）转换为ORC文件的过程。ORC（Optimized Row Columnar）是Hadoop的一种高效列式存储格式，特别适用于大数据处理场景，如...
hive orc存储格式不同压缩格式的比较
程老师的博客
06-10 1739
1.建表语句 无压缩格式 NONE CREATE EXTERNAL TABLE `test.test_orc_not_compress`( `apptypeid` string, `uid` string, `srcqid` string, `os` string, `ver` string, `vers` string, `isnewuser` int, `pv` bigint) PARTITIONED BY ( `dt` string) stored
文件格式对比ORC-Parquet，存储格式对比Gzip-Bzip2-Snappy，Hive和Spark对比
someInNeed的博客
02-14 1331
Parquet常用于Impala、Drill、Spark、Arrow；5.处理深层次文件 parquet设计之初就是为了处理嵌套式数据如json。除此之外没有比ORC好太多的地方。impala和spark现在很流行所以parquet存储格式流行。4.orc支持事务表分桶update操作，parquet完全不支持。1.存储文件的压缩比总结：ORC > Parquet。2.存储文件的查询速度总结：查询速度相近，ORC好一点点。3.可兼容的平台：ORC常用于Hive、Presto；
更高的压缩比，更好的性能–使用ORC文件格式优化Hive
weixin_34132768的博客
03-08 494
http://lxw1234.com/archives/2016/04/630.htm 关键字：orc、index、hive Hive从0.11版本开始提供了ORC的文件格式，ORC文件不仅仅是一种列式文件存储格式，最重要的是有着很高的压缩比，并且对于MapReduce来说是可切分（Split）的。因此，在Hive中使用ORC作为表的文件存储格式，不仅可以很大程度的节省HDFS存储资源，而且对数据...
HIVE中ORC表的压缩比较
布里啾啾迪布利多的博客
10-28 5304
ORC支持三种压缩：ZLIB,SNAPPY,NONE。最后一种就是不压缩，orc默认采用的是ZLIB压缩。 1.创建一个不压缩的ORC存储方式表 create table test_orc_none ( track_time string, url string, ip string ) row format delimited fields terminated by '\t' stored as orc tblproperties("orc.compress"="NONE") ; insert in
Hive支持的文件存储格式（重点）
m0_51697147的博客
04-07 1057
一、Hive支持哪些文件存储格式？ Hive支持的文件储存格式主要有： ...
ORC与Parquet表的压缩
pengpengsays
01-05 3507
Hive表压缩功能 除了直接配置MapReduce压缩功能外，Hive的ORC表和Parquet表直接支持表的压缩属性。 但支持的压缩格式有限，ORC表支持None、Zlib、Snappy压缩，默认为ZLIB压缩。但这3种压缩格式不支持切分，所以适合单个文件不是特别大的场景。使用Zlib压缩率高，但效率差一些；使用Snappy效率高，但压缩率低。 Parquet表支持Uncompress、Snappy、Gzip、Lzo压缩，默认不压缩Uncompressed。其中Lzo压缩是支持切分的，所以在表的单个文件
Parquet与ORC：高性能列式存储格式
热门推荐
Hello World
07-09 6万+
背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本文主要从实现的角度上对比分析
Hadoop列式存储引擎Parquet/ORC和snappy压缩
swing2008的专栏
11-26 6110
Hadoop列式存储引擎Parquet/ORC和snappy压缩 原文  http://www.itweet.cn/2016/03/15/columnar-storage-parquet-and-orc/ 主题 Parquet Hadoop 相对于传统的行式存储格式，列式存储引擎具有更高的压缩比，更少的IO操作而备受青睐。列式存储缺点：在column数很多，每次操作大部分
存储格式：parquet和orc对比
人的大脑是cpu，而不是硬盘
10-22 765
Orc格式 Orc (Optimized Row Columnar)是Hive 0.11版里引入的新的存储格式。 如下图所示可以看到每个Orc文件由1个或多个stripe组成，每个stripe一般为HDFS的块大小，每一个stripe包含多条记录，这些记录按照列进行独立存储，对应到Parquet中的row group的概念。每个Stripe里有三部分组成，分别是Index Data，Row Data，Stripe Footer： 1）Index Data：一个轻量级的index，默认是每隔1W行做
Hive的数据存储格式
11-28 7933
Hive支持的存储数据的格式主要有： Hive支持的存储数据的格式主要有 存储形式 TEXTFILE 行式存储 SEQUENCEFILE 行式存储 ORC 列式存储 PARQUET 列式存储 列式存储和行式存储 行存储的特点： 查询满足条件的一整行数据的时候，行存储只需要找到其中一个值，其余的值都在相邻地方。列存储则需要去每个聚集的字段找到对应的每个列的值，所以此...
MapReduce操作SequenceFile、MapFile、ORCFile与ParquetFile详解
与SequenceFile相比，ORCFile具有更高的读取速度和压缩效率，但写入过程可能更复杂，因为它需要预定义列类型和分区策略。 最后是ParquetFile，这是一种列式存储格式，同样由Facebook开发，它支持更丰富的数据类型，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值