hive的orc和parquet和textfile三种格式的压缩与存储

最新推荐文章于 2023-04-07 12:31:00 发布
最新推荐文章于 2023-04-07 12:31:00 发布
阅读量4.3k 收藏 2
点赞数 2
分类专栏： HIVE 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44361667/article/details/104719944
版权

文章目录

数据库压缩方式有四种 分别是 orc格式 parquet格式以及默认的textfile格式

三种格式压缩效率

这三种格式 orc的压缩效率最高 其次是parquet 最后是默认的textfile
我的文件分别用三种格式创建数据库并加载进去
在这里插入图片描述
textfile格式 文件大小未改变
在这里插入图片描述
parquet 格式 文件变小一点
在这里插入图片描述
orc格式 文件压缩效率最高
在这里插入图片描述
文件大小：Textfile>parquet>orc
由此看出 orc的压缩效率最大

查询文件的效率怎么样

第一个 textfile创建的数据库
第一次查询 9.324秒

最低0.47元/天 解锁文章
大数据面经
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hive textfile orc parquet格式简单比较
weixin_40455124的博客
01-15 1417
使用datafaker 在虚拟机生成100万数据，2列的值重复较多，2列较少。 表结构 create table if not exists test_parquet( advertiser_id string, ad_plan_id string, gen_time TIMESTAMP , cnt BIGINT ) 使用datafaker先生成10万数据，meta文件如下 advertiser_id||string||advertiser_id[:ipv4] ad_plan_id||s
Hive（31）：将txt数据导入ORC格式表
小蚯蚓的博客
09-05 4012
一、实现功能 将txt或者csv数据加载到orc格式的hive中，因为不能直接创建orc类型数据，而直接将txt（csv）数据load进入orc表，会报错。所以，需要创建一个textfile格式中间表。 二、实例 1.创建textfile临时表： create table if not exists people_orc_txt( name string, gender string ) row format delimited fields terminated by ',' sto
【hive-3.1.3】ORC 格式的表和 text 格式的表，当分区的字段数量和表的字段数量不一致，检索结果不相同
houzhizhen的专栏
11-09 1448
ORC 格式的表，和 text 格式的表，如果分区的字段数量和表的字段数量不一致，则 select 出的内容不相同。
parquet和textfile存储对比
老农民挖数据
04-11 6193
有人说parquet是列存储，textfile 是行存储（类似关系型数据库oracle表），那么我半信半疑，那么我们试试看。我有个毛病，听别人说，没有底气，凡事都想自己尝试，拿事实说话。1.先试试parquet表create TABLE prestat.stat_nps_user_week_test ( timevalue TIMESTAMP, imsi STRING, msis...
Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的对比）
07-15 7231
Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的对比） 综述： HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了A方式，那么在向表中插入数据的时候，将会使用该方式向HDFS中添加相应的数据类型。 如果为textfile的文件格式，直接load就OK，不需要走MapReduce；如果是其他的类型就需要走Ma.
text、RC、Parquet、ORC
ChainingBlocks
02-02 4489
数据格式：text、RC、Parquet、ORC 相同大小的原始数据集，转换成相应的格式之后的文件大小：Text > RC > Parquet > ORC Text/CSVcsv文件不支持块压缩，所以在Hadoop中使用压缩的CSV文件经常会带来很低的读性能。无法存储元数据。新的字段只能追加到所有字段的尾部，并且不能产出已经存在的字段。支持有限的模式演进。JSON能够存储元数据。不支持块压缩。第三方
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二）
05-29
本文主要探讨了在Hive和Impala中使用TextFile、ORC和Parquet三种不同数据格式的性能表现。Hadoop、Hive和Impala是大数据处理中的核心组件，而ORCFile和ParquetFile则是优化数据存储的常用格式。 首先，TextFile是最...
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一）
05-29
本文通过亿级数据量在Hive和Impala中对比了text、orc和parquet这三种不同的文件格式，以分析它们的性能表现。 首先，让我们深入了解每种文件格式的特点： 1. **Parquet**： - 优点：Parquet采用了高效的压缩和...
21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件
05-29
ORCFile（Optimized Row Columnar）是一种列式存储格式，特别适合于大数据分析，因为它对列式数据的压缩和查询性能优化做得非常好。ORCFile支持复杂的类型，如结构体、列表和映射，以及多种压缩策略。在MapReduce中...
hive从入门到放弃(六)——常用文件存储格式.doc
07-09
在 Hive 中，常用的文件存储格式有 TextFile、ORC 和 Parquet 三种。下面我们将详细介绍这三种存储格式的特点和应用场景。 一、TextFile TextFile 是 Hive 中默认的文件存储格式，它是行式存储的。 TextFile 的...
hive的安装与配置.zip
最新发布
06-05
这可能涉及到Hive的分区、桶、存储格式（如TextFile、ORC、Parquet）以及JOIN、GROUP BY等操作的使用技巧。 总的来说，Hive是一个强大的大数据处理工具，它简化了对Hadoop数据的SQL查询，使得非编程背景的用户也能...
hive的存储格式TextFile、RCFile、ORC
lds_include
07-01 2639
hived的存储格式TextFile、RCFile、ORC 说明：所谓的存储格式就是hive的数据在hdfs上存放的具体方式；通过下面的文件我们看出hive的存储格式是一共有六种，每一种都是由自己的规则。 file_format: : SEQUENCEFILE | TEXTFILE -- (Default, depending on hive.default.fileformat...
新一代列式存储格式Parquet
热门推荐
Hello World
03-27 3万+
Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera(由于Impala的缘故)合作开发完成并开源，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，
hive的四种文件存储格式的差异与优缺点
weixin_49196517的博客
09-13 865
文件的四种存储格式
hive存储格式对比
qq_36470475的博客
10-18 579
hive 存储格式对比
Hive的几种常见压缩格式（ORC，Parquet，Sequencefile，RCfile，Avro）的读写查询性能测试
onway_goahead的博客
07-29 874
一.测试背景 工作中想把历史的APP日志结构化到Hive中进行查询，由于数据较大，需要进行压缩，根据Hive官方提供的几种压缩格式分别进行写入，读取，OLAP计算的性能测试，以求找到最好的压缩格式。 二.测试方法概述 数据来源：采用生产上数据抽样，大小为100G。原始日志格式为textfile文件（标准JSON）。 测试平台：公司Ambari测试平台，物理内存100G。 测试方法：将textfile文件通过脚本自动录入到Hive里，形成大表。（注：解析JSON数据的serde使用 hd..
Hive压缩方法的选择
AnlaGodness的博客
04-29 440
（以下内容主要为读《Hive编程指南》后的小小总结。 1.背景 尽管hadoop 的文件系统支持对于非压缩数据的线性扩展存储，但是对数据进行压缩还是有很大好处的—节约磁盘空间、增加吞吐量和性能（通过减少载入内存的数据量而提高IO吞吐量会更加提高网络传输性能）。当然，文件压缩过程和解压缩过程会增加CPU开销。 压缩作用于不同类型的任务，影响是不一样的。对于： IO密集型，可以以提高性能。Hadoop...
Hive中ORC文件压缩及执行效率比较
xiaoweiae86的专栏
03-28 1125
​ 因为orcfile的压缩快，储存快，所以我们一般会使用orcfile储存格式，压缩算法支持采用orc支持的zlib格式和snappy格式，对于DWD/DWM/DWS/APP层，为了执行的效率，可以使用比较土豪的方式：orcfile+snappy。比对三种主流的文件存储格式TEXTFILE 、ORC、PARQUET。层的数据，一般采用orcfile+zlib格式，来节省磁盘的空间 ​。11.4 G 单个拷贝大小。34.2 G 三个副本总大小。查询速度：三者几乎一致。
Hive支持的文件存储格式（重点）
m0_51697147的博客
04-07 1010
一、Hive支持哪些文件存储格式？ Hive支持的文件储存格式主要有： ...
亿级数据下Hive和Impala中text、orc、parquet性能对比(一)
本文是一篇关于在Hadoop生态系统中，特别是Hive和Impala两个查询引擎下，对比Text、Orc和Parquet三种数据存储格式性能表现的研究。作者首先强调了读者需要对Hadoop、Hive、Impala、Kafka和Flink等技术有一定的了解，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值