HIVE的压缩和存储格式

最新推荐文章于 2023-05-30 10:16:36 发布
最新推荐文章于 2023-05-30 10:16:36 发布
阅读量1.9k 收藏 12
点赞数
文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013983161/article/details/124386213
版权
本文详细介绍了Hive的压缩和存储格式，包括不同阶段的压缩设置，如MAP和REDUCE输出阶段，并探讨了Hadoop支持的编解码类型。重点讲解了列式存储的ORC和Parquet格式，以及Hive的压缩格式如GZIP、LZO和SNAPPY，特别是SNAPPY在ORC文件中的应用。此外，还分享了如何在Hive中配置压缩选项和结合使用存储与压缩格式的案例。
摘要由CSDN通过智能技术生成

目录

2）压缩性能比较

3）开启MAP输出阶段压缩

4）开启REDUCE输出阶段压缩，比map端压缩事儿多

四.查看HADOOP支持哪些编解码

 五、hive文件压缩在两处设置

六、存储格式和压缩格式可结合使用

在生产环境中，常用的HIVE存储格式：列式存储的orc和parquet

HIVE压缩格式：冷数据-----gzip压缩（压缩比高，压缩解压缩速度高，不可切割）；

                          非冷数据------lzo（可切割）和snappy（不可切割）

案例：student表存储方式是ORC，压缩方式SNAPPY

create table student (empno int,empname string)

stored as orc

tblproperties("orc.compress"="SNAPPY")

一.HIVE存储格式

存储格式 压缩比
textfile 文本 行存储 第4
sequence 二进制 行存储 第3
orc（常用，默认zlib压缩） 二进制 行列存储 第1
parquet（常用） 二进制 行列存储 第2

二、HIVE的压缩方式

1）压缩方法比较 

压缩格式 工具 算法 文件扩展名 是否可切分
deflate 无 deflate .deflate 否
gzip gzip deflate .gz 否
bzip2 bzip2 bzip2 .bz2 是
lzo lzo lzo .lzo
最低0.47元/天 解锁文章
捣药的八戒
关注
[Hive基础]-- Hive table 的压缩方式和存储格式
欢迎来到我的博客，一起探索代码里的世界！
04-06 2589
一、了解 Hadoop 的压缩方式 1.Hadoop 的压缩方式的基本信息 压缩格式 扩展名 多文件 支持切片 压缩比排行 解压速度排行 工具 hadoop自带 gzip .gz 否 否 2 3 gzip 是 bzip2 .bz2 是 是 1 4 bzip2 是 lzo .lzo 否 是 3 2 lzop 否 snappy
Hive数据压缩_MR数据压缩_存储数据压缩
zhsworld的博客
07-31 273
一 MR数据压缩 Hadoop三大核心：HDFS（负责存储）、MapReduce（负责计算）、Yarn（ 负责调度计算） Hive基于HDFS存储，Hive计算是将Hql语句转换为MR任务，而MR任务可以对处理的数据进行压缩。所以所谓Hive数据压缩就是MR数据压缩 1、基本含义 MR压缩：通过压缩编码对mapper或者reducer的输出进行压缩，以减少磁盘IO，提高MR程序运行速度，但相应增加了cpu运算负担 压缩特性运用得当能提高性能，但运用不当也可能降低性能。其基本原则是： 运算密.
Hive的数据压缩:开启Map输出阶段压缩，开启Reduce输出阶段压缩
11-28 4831
开启Map输出阶段压缩 开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下： 案例实操： 1）开启hive中间传输数据压缩功能 hive (default)>set hive.exec.compress.intermediate=true; 2）开启mapreduce中map输出压缩功能 hive (default)>set mapredu...
HIVE数据的压缩与存储格式
meng_xin_true的博客
07-29 2069
压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、Shuffle和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。可以在任意MapReduce阶段启用压缩。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。...
Hive的数据压缩
散步的博客
04-01 1306
在实际工作当中，hive当中处理的数据，一般都是需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩， 这里的hive也是一样，可以使用压缩来节省我们的额MR的处理的网络带宽。 为了支持多种压缩/解压缩算法，Hadoop引入编码/解码器， 压缩配置参数： 要在Hadoop中启用压缩，可以配置如下参数（mapred-site.xml文件中） ...
hive的数据压缩
王傲旗的大数据之路
11-30 4873
在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽 MR支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 DEFAULT 无 DEFAULT .deflate 否 Gzip gzip DEFAULT .gz 否 bz...
hive 修改表的存储格式_hive表存储格式及压缩
weixin_42228776的博客
12-23 2179
1.textfileHive数据表的默认格式，磁盘开销大，数据解析开销大存储方式：行存储压缩方式：使用Gzip,Bzip2等压缩算法压缩，压缩后的文件不支持split但在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍。--创建数据表：create table if not exists textfile_table(site strin...
Hive存储格式和压缩算法
卡卡的博客
10-31 1523
Hive文件存储格式和压缩算法介绍
Hive 之 压缩和存储
恋梦轩
04-12 520
记录了Hive工具中的压缩与存储的相关知识。
Hive中的数据压缩
u012957549的博客
01-05 2378
1.数据文件存储格式 下面简介一下hive 支持的存储格式 file_format: : SEQUENCEFILE | TEXTFILE -- (Default, depending on hive.default.fileformat configuration) | RCFILE -- (Note: Available in Hive 0.6.0 and ...
创建GZIP压缩格式的HIVE表
cxu123321的博客
08-29 3891
2015年05月06日 13:37:22大数据部阅读数 3232更多 本文链接：https://blog.csdn.net/BDCHome/article/details/45534687 GZIP为Linux系统中最常用的压缩格式，创建GZIP压缩格式的HIVE表具体步骤如下。 1、以 STORED AS TEXTFILE 为存储格式创建HIVE表 CREATE TABLE TRA...
Hive 的数据压缩格式怎么选择？
热门推荐
Shockang的博客
06-20 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 1 数据的压缩说明 压缩模式评价 可使用以下三种标准对压缩方式进行评价 压缩比：压缩比越高，压缩后文件越小，所以压缩比越高越好 压缩时间：越快越好 已经压缩的格式文件是否可以再分割：可以分割的格式允许单一文件由多个 Mapper 程序处理，可以更好的并行化 常见压缩格式 对比 压缩方式 压
Hive ---- 文件格式和压缩
是微风，是晚霞，是无可替代
05-30 3212
为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端设置压缩。
Hive表的数据压缩和企业级调优
a1007904449的博客
08-12 926
压缩模式评价常见压缩格式http://google.github.io/snappy/On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.案例实操： 1.4 开启Reduce输出阶段压缩 当Hive将输出写入到表中时，输出内容同样可以进行压缩。属性hive.exec.
Hive压缩方式设置
迷茫君的博客
08-14 2242
Map 输出阶段 开启 map 输出阶段压缩可以减少 job 中 map 和 reduce task 之间数据传输量。 具体配置如下： #开启 hive 中间传输数据压缩功能 hive (bigdata)> set hive.exec.compress.intermediate=true; #开启 mapreduce 中 map 输出压缩功能 hive (bigdata)> se...
hive的数据压缩格式和存储格式
Autumn_tears的博客
08-20 727
1.Textfile：Hive数据表的默认格式 可以使用Gzip压缩算法，但压缩后的文件不支持split 2.SEQUENCEFILE Sequence File是可分割的文件格式，支持Hadoop的block级压缩。 3.RCFILE 数据按行分块，每块按列存储 4.ORCFILE 数据按行分块，每块按照列存储 1.gzip压缩 不支持split，当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式 2.zlib压缩 支持orcfile格式，性..
hive优化之存储格式的选择
最新发布
09-22
Hive是一种用于在大数据环境中进行查询和分析的开源数据仓库解决方案。在Hive中，选择合适的存储格式对于查询性能和数据存储优化非常重要。 Hive支持多种存储格式，包括文本格式、序列文件格式、ORC格式和Parquet格式等。不同的存储格式对于数据的存储效率、压缩率和查询性能都有一定影响。 首先，文本格式是最基本的存储格式，它简单易用，但是不适合大规模数据存储和查询，因为它没有压缩和索引功能，查询性能会受到限制。 其次，序列文件格式是Hadoop默认的文件格式，它支持压缩和可切分，能够提高存储空间利用率和查询性能。 ORC（Optimized Rowe Columnar）格式是一种基于列式存储的高效存储格式，它能够提供更好的压缩比和查询性能，尤其适用于大规模数据仓库中的分析查询工作负载。 最后，Parquet格式也是一种列式存储格式，它具有更好的查询性能和压缩比，支持高级查询和分析操作。 在选择存储格式时，需要综合考虑数据类型、数据量、查询性能和存储空间等因素。如果数据量较小，可以选择文本格式或序列文件格式；对于大规模数据存储和分析场景，推荐选择ORC或Parquet格式。 此外，可以通过调整Hive的配置参数来进一步优化存储格式的选择，如选择适当的压缩算法、压缩级别和数据切分方式等。通过合理选择和配置存储格式，可以提高Hive查询性能、降低存储成本，并获得更好的用户体验。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值