【Hive】压缩格式

最新推荐文章于 2023-07-23 18:25:59 发布
最新推荐文章于 2023-07-23 18:25:59 发布
阅读量4.7k 收藏 1
点赞数
分类专栏： Hive 文章标签： hive压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nextaction/article/details/107011785
版权
常见压缩格式
压缩方式压缩比压缩速度解压缩速度是否可分割
gzip13.4%21 MB/s118 MB/s否
bzip213.2%2.4MB/s9.5MB/s是
lzo20.5%135 MB/s410 MB/s是
snappy22.2%172 MB/s409 MB/s否
压缩格式对应的编/解码器
压缩格式对应的编/解码器
DEFLATEorg.apache.hadoop.io.compress.DefaultCodec
Gziporg.apache.hadoop.io.compress.GzipCodec
BZip2org.apache.hadoop.io.compress.BZip2Codec
LZOcom.hadoop.compress.lzo.LzopCodec
Snappyorg.apache.hadoop.io.compress.SnappyCodec
压缩参数配置

1.在Hadoop中配置（mapred-site.xml文件）

参数默认值
io.compression.codecs （在core-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.Lz4Codec
mapreduce.map.output.compressfalse
mapreduce.map.output.compress.codecorg.apache.hadoop.io.compress.DefaultCodec
mapreduce.output.fileoutputformat.compressfalse
mapreduce.output.fileoutputformat.compress.codecorg.apache.hadoop.io.compress.DefaultCodec
mapreduce.output.fileoutputformat.compress.typeRECORD

2.Hive命令行session级别
(1) 开启Map输出阶段压缩

#开启hive中间传输数据压缩功能
set hive.exec.compress.intermediate=true;
#开启map阶段输出压缩功能
set mapreduce.map.output.compress=true;
#设置map阶段的压缩方式
set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;

(2) 开启Reduce输出阶段压缩

#开启Hive最终输出压缩
set hive.exec.compress.output=true;
#开启mapreduce最终输出压缩
set mapreduce.output.fileoutputformat.compress=true;
#设置mapreduce最终输出压缩方式
set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;
#设置mapreduce最终输出压缩为块压缩
set mapreduce.output.fileoutputformat.compress.type=BLOCK;
总结

没有一劳永逸的压缩格式，要根据实际情况合理选用。选择标准主要有如下三点：

  1. 压缩比：压缩比越高，压缩后文件越小；
  2. 压缩效率：越快越好；
  3. 压缩文件是否支持再分割：这会影响map阶段的并行；
卜塔
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive2.1.1中orc格式读取报数组越界错误解决方法
05-24
在Hive 2.1.1版本中，ORC（Optimized Row Columnar）格式是一种高效的数据存储方式，尤其适用于大数据处理。它提供了压缩、索引和列式存储等特性，能够极大地提高查询性能。然而，有时候在使用ORC格式读取数据时，...
hive常用文件格式详细测试.xlsx
12-02
测试orc、rcfile、sequence、parquet、textfile的压缩对比、查询时间、cpu耗时对比等
Hive压缩格式
weixin_30824599的博客
08-18 168
TextFile Hive数据表的默认格式，存储方式：行存储。 可使用Gzip,Bzip2等压缩算法压缩,压缩后的文件不支持split 但在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍。 --创建数据表：create table if not exists textfile_table( site string,...
hive的压缩和存储格式
qq_25534101的博客
04-15 186
压缩 一般使用snappy压缩方式 开启map端的压缩 案例实操： 1）开启hive中间传输数据压缩功能 hive (default)>set hive.exec.compress.intermediate=true; 2）开启mapreduce中map输出压缩功能 hive (default)>set mapreduce.map.output.compress=true; 3）设置mapreduce中map输出数据的压缩方式 hive (default)>set mapreduce.ma
Hive优化--文件压缩格式
点点滴滴一世界
10-20 413
1.1.    Hive表文件及中间文件使用合适的文件压缩格式 GZip和Snappy，这两种压缩算法在大数据应用中最常见，适用范围最广，压缩率和速度都较好，读取数据也不需要专门的解压操作，对编码来说透明。 压缩率跟数据有关，通常从2到5不等；两种算法中，GZip的压缩率更高，但是消耗CPU更高，Snappy的压缩率和CPU消耗更均衡。     对于存储资源受限或客户要求文件必须压缩的场景，
hive的压缩存储格式
hzp666的博客
11-04 4471
1、5种存储格式 Apache Hive支持Apache Hadoop中使用的几种熟悉的文件格式，如TextFile，RCFile，SequenceFile，AVRO，ORC和Parquet格式。 ClouderaImpala也支持这些文件格式。 在建表时使用STORED AS (TextFile|RCFile|SequenceFile|AVRO|ORC|Parquet)来指定存储格式。 TextFile每一行都是一条记录，每行都以换行符（\ n）结尾。数据不做压缩，磁盘开销大，数据解析开销大。可.
Hive常见的压缩格式
pengpengsays
01-05 3841
压缩格式 Hive支持的压缩格式有bzip2、gzip、deflate、snappy、lzo等。Hive依赖Hadoop的压缩方法，所以Hadoop版本越高支持的压缩方法越多，可以在$HADOOP_HOME/conf/core-site.xml中进行配置： <property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.
hive所有jar文件
06-25
“hivelib”这个压缩包子文件的文件名称列表可能表示这个包包含了Hive的库文件。这些库可能包括Hive与HBase交互所需的连接器、Hadoop相关的库、以及其他可能的依赖，如Avro、Parquet、Thrift等，这些都是大数据处理...
hive如何去安装与配置
最新发布
04-19
访问Apache官方网站下载最新版本的Hive，解压缩到指定目录。例如，可以将Hive解压到`/usr/local`目录下，并创建一个软链接方便管理： ```bash tar -zxvf apache-hive-x.x.x-bin.tar.gz -C /usr/local/ ln -s /usr/...
kafaka+hive.rar
07-24
标题中的“kafaka+hive.rar”表明这是一个关于Kafka和Hive整合的压缩文件，主要探讨如何在大数据处理环境中将消息队列系统Kafka与数据仓库工具Hive相结合，以实现更高效的数据流动和分析。Hive是Apache Hadoop项目的...
HIVE数据的压缩与存储格式
meng_xin_true的博客
07-29 1660
压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、Shuffle和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。可以在任意MapReduce阶段启用压缩。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。...
Hive之数据压缩和存储格式
勇心在馨
02-04 539
关于Hadoop的压缩参看之前写的博客：https://blog.csdn.net/zuodaoyong/article/details/104115608 本文主要关注Hive的压缩数据相关内容 通过命令查看集群支持哪些压缩编码格式： [root@master native]# hadoop checknative 20/02/04 17:46:36 INFO bzip2.Bzip2Fac...
Hive ---- 文件格式和压缩
在人间负债^
05-30 2989
为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端设置压缩。
hive之文件格式与压缩
&volume的博客
07-23 1120
为Hive表中的数据选择一个合适的文件格式，对提高查询性能的提高是十分有益的。Hive表数据的存储格式，可以选择text file、orc、parquet、sequence file等。ORC（Optimized Row Columnar）file format是Hive 0.11版里引入的一种列式存储的文件格式。ORC文件能够提高Hive读写数据和处理数据的性能。我们文件一般都是一个二维表，行式存储就是以一行数据为一个单位，存储在相邻的位置，列示存储是以一列数据为单位，一个单位内的数据放在相邻的位置。
Hive 文件压缩格式对比
AaronLwx的博客
04-19 1358
[hadoop@hadoop004 hadoop]$ vim core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop004:9000</value> </property> <p...
hive压缩
jyl1798的专栏
08-15 3941
hive采用压缩进行性能优化
Hive文件存储格式和数据压缩
jim8973的博客
04-11 437
存储格式行存储和列存储 行存储可以理解为一条记录存储一行，通过条件查询一整行数据 列存储，以字段聚集存储，可以理解为相同的字段存储在一起 Hive文件存储格式 1、 TEXTFILE Hive数据表的默认格式，存储方式：行存储 可以使用Gzip压缩算法 在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍 2、SEQUENCEFIL...
关于Hive中的存储格式及压缩格式详解
wenqi
06-07 5973
最近面试，遇到了关于Hive的数据存储格式的问题，回答不尽人意，抽时间总结多看看关于Hive存储格式和压缩格式的内容。TEXTFILE 是 Hive 默认文件存储方式，存储方式为行存储，数据不做压缩，磁盘开销大，数据解析开销大，数据不支持分片，数据加载导入方式可以通过LOAD和INSERT两种方式加载数据。可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压) ，但使用gzip方式，hive不会对数据进行切分，从而无法对数据进行并行操作，但压缩后的文件不支持split。在反序列化过程中，必须逐个
HIVE存储格式和压缩方式详解
weixin_46429290的博客
07-11 2065
引用：https://blog.csdn.net/yizhiniu_xuyw/article/details/113811001LZO压缩算法特点：SNAPPY压缩算法特点：尽管 Snappy 应该相当轻便，但它主要针对 64 位 x86 兼容处理器进行了优化，并且在其他环境中运行速度可能较慢。BZIP2压缩算法特点：HIVE的压缩格式压缩可以存在很多地方，在mr任务运行时候，map端溢写到磁盘，以及reduce端从磁盘中拉取文件，都有大量的IO操作，都可以设置压缩方法。设置压缩格式的参数如下所示HIVE配
hive的数据压缩格式
06-06
Hive支持多种数据压缩格式，包括： 1. Snappy：一种快速压缩/解压缩库，适用于大多数数据类型。 2. Gzip：一种常见的无损压缩格式，适用于文本文件。 3. Bzip2：一种高度压缩的无损压缩格式，适用于文本文件。 4. Lzo：一种高性能压缩格式，适用于大型数据文件。 5. LZ4：一种快速压缩/解压缩库，适用于大多数数据类型。 您可以在创建表或加载数据时指定压缩格式。例如： 创建表时指定压缩格式： ``` CREATE TABLE my_table ( column1 string, column2 int ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/my/location' TBLPROPERTIES ( 'compression.type'='SNAPPY' ); ``` 加载数据时指定压缩格式： ``` LOAD DATA INPATH '/my/data' OVERWRITE INTO TABLE my_table TBLPROPERTIES ('compression.type'='GZIP'); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值