Hive系列之-5、Hive的数据压缩和数据存储格式

最新推荐文章于 2022-07-25 21:02:08 发布
最新推荐文章于 2022-07-25 21:02:08 发布
阅读量340 收藏 2
点赞数 1
分类专栏： 大数据专栏 文章标签： hive hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l848168/article/details/120353619
版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

大数据系列文章目录

目录

hive的数据压缩

在实际工作当中，hive当中处理的数据，一般都需要经过压缩，可以使用压缩来节省我们的MR处理的网络带宽

MR支持的压缩编码

压缩格式工具算法文件扩展名是否可切分
DEFAULT无DEFAULT.deflate否
GzipgzipDEFAULT.gz否
bzip2bzip2bzip2.bz2是
LZOlzopLZO.lzo否
LZ4无LZ4.lz4否
Snappy无Snappy.snappy否

为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示

压缩格式对应的编码/解码器
DEFLATEorg.apache.hadoop.io.compress.DefaultCodec
gziporg.apache.hadoop.io.compress.GzipCodec
bzip2org.apache.hadoop.io.compress.BZip2Codec
LZOcom.hadoop.compression.lzo.LzopCodec
LZ4org.apache.hadoop.io.compress.Lz4Codec
Snappyorg.apache.hadoop.io.compress.SnappyCodec

压缩性能的比较

压缩算法原始文件大小压缩文件大小压缩速度解压速度
gzip8.3GB1.8GB17.5MB/s58MB/s
bzip28.3GB1.8GB17.5MB/s9.5MB/s
LZO8.3GB1.8GB17.5MB/s74.6MB/s

http://google.github.io/snappy/
On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.

压缩配置参数

要在Hadoop中启用压缩，可以配置如下参数（mapred-site.xml文件中）：
在这里插入图片描述
在这里插入图片描述

开启Map输出阶段压缩

开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下：
案例实操：
1）开启hive中间传输数据压缩功能

hive(default)>set hive.exec.compress.intermediate=true;

2）开启mapreduce中map输出压缩功能

hive (default)>set mapreduce.map.output.compress=true;

3）设置mapreduce中map输出数据的压缩方式

hive (default)>set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;

4）执行查询语句

select count(1) from score;

开启Reduce输出阶段压缩

当Hive将输出写入到表中时，输出内容同样可以进行压缩。属性
hive.exec.compress.output控制着这个功能。用户可能需要保持默认设置文件中的默认值false，这样默认的输出就是非压缩的纯文本文件了。用户可以通过在查询语句或执行脚本中设置这个值为true，来开启输出结果压缩功能。

案例实操：

-- 1）开启hive最终输出数据压缩功能
set hive.exec.compress.output=true;
-- 2）开启mapreduce最终输出数据压缩
set mapreduce.output.fileoutputformat.compress=true;
-- 3）设置mapreduce最终数据输出压缩方式
set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;
-- 4）设置mapreduce最终数据输出压缩为块压缩
set mapreduce.output.fileoutputformat.compress.type=BLOCK;
-- 5）测试一下输出结果是否是压缩文件
insert overwrite local directory '/export/data/exporthive/compress' select * from score distribute by sid sort by sscore desc;

hive的数据存储格式

Hive支持的存储数的格式主要有： TEXTFILE（行式存储） 、 SEQUENCEFILE(行式存储)、 ORC（列式存储）、 PARQUET（列式存储）。

列式存储和行式存储

在这里插入图片描述
行存储的特点： 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。

列存储的特点： 因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。

相比于行式存储，列式存储在分析场景下有着许多优良的特性:

1）分析场景中往往需要读大量行但是少数几个列。在行存模式下，数据按行连续存储，所有列的数据都存储在一个block中，不参与计算的列在IO时也要全部读出，读取操作被严重放大。而列存模式下，只需要读取参与计算的列即可，极大的减低了IO开销，加速了查询。

2）同一列中的数据属于同一类型，压缩效果显著。列存储往往有着高达十倍甚至更高的压缩比，节省了大量的存储空间，降低了存储成本。

3）更高的压缩比意味着更小的数据空间，从磁盘中读取相应数据耗时更短。

4）自由的压缩算法选择。不同列的数据具有不同的数据类型，适用的压缩算法也就不尽相同。可以针对不同列类型，选择最合适的压缩算法。

TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的；
ORC和PARQUET是基于列式存储的。

主流文件存储格式对比实验

从存储文件的压缩比和查询速度两个角度对比。
存储文件的压缩比测试：
1）TextFile
（1）创建表，存储数据格式为TEXTFILE

create table log_text (
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE ;

(2) 向表中加载数据

load data local inpath '/export/data/hivedatas/log.data' into table log_text ;

(3) 查看表中数据大小

hadoop fs  -du -h /user/hive/warehouse/myhive.db/log_text;

18.1 M /user/hive/warehouse/log_text/log.data

2）ORC
（1）创建表，存储数据格式为ORC

create table log_orc(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS orc ;

(2) 向表中加载数据

insert into table log_orc select * from log_text ;

(3) 查看表中数据大小

hadoop fs  -du -h /user/hive/warehouse/myhive.db/log_orc;

2.8 M /user/hive/warehouse/log_orc/123456_0

3）Parquet

（1）创建表，存储数据格式为parquet

create table log_parquet(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS PARQUET ;

（2）向表中加载数据

insert into table log_parquet select * from log_text ;

(3) 查看表中数据大小

hdoop fs  -du -h /user/hive/warehouse/myhive.db/log_parquet;

13.1 M /user/hive/warehouse/log_parquet/123456_0

存储文件的压缩比总结：

ORC > Parquet > textFile

存储文件的查询速度测试：

1）TextFile
hive (default)> select count(*) from log_text;
_c0
100000
Time taken: 21.54 seconds, Fetched: 1 row(s)
2）ORC
hive (default)> select count(*) from log_orc;
_c0
100000
Time taken: 20.867 seconds, Fetched: 1 row(s)
3）Parquet
hive (default)> select count(*) from log_parquet;
_c0
100000
Time taken: 22.922 seconds, Fetched: 1 row(s)

存储文件的查询速度总结：

ORC > TextFile > Parquet

存储和压缩结合

ORC存储方式的压缩：

KeyDefaultNotes
orc.compressZLIBhigh level compression (one of NONE, ZLIB, SNAPPY)
orc.compress.size262,144number of bytes in each compression chunk
orc.stripe.size67,108,864number of bytes in each stripe
orc.row.index.stride10,000number of rows between index entries (must be >= 1000)
orc.create.indextruewhether to create row indexes
orc.bloom.filter.columns“”comma separated list of column names for which bloom filter should be created
orc.bloom.filter.fpp0.05false positive probability for bloom filter (must >0.0 and <1.0)

1）创建一个非压缩的的ORC存储方式

（1）建表语句

create table log_orc_none(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS orc tblproperties ("orc.compress"="NONE");

（2）插入数据

insert into table log_orc_none select * from log_text ;

（3）查看插入后数据

hadoop fs -du -h /user/hive/warehouse/myhive.db/log_orc_none;

7.7 M /user/hive/warehouse/log_orc_none/123456_0

2）创建一个SNAPPY压缩的ORC存储方式

（1）建表语句

create table log_orc_snappy(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS orc tblproperties ("orc.compress"="SNAPPY");

（2）插入数据

insert into table log_orc_snappy select * from log_text ;

（3）查看插入后数据

hadoop fs  -du -h /user/hive/warehouse/myhive.db/log_orc_snappy ;

3.8 M /user/hive/warehouse/log_orc_snappy/123456_0

3）上一节中默认创建的ORC存储方式，导入数据后的大小为

2.8 M /user/hive/warehouse/log_orc/123456_0
比Snappy压缩的还小。原因是orc存储文件默认采用ZLIB压缩。比snappy压缩的小。

4）存储方式和压缩总结：

在实际的项目开发当中，hive表的数据存储格式一般选择：orc或parquet。压缩方式一般选择snappy。

结束

下一篇Hive调优

技术武器库
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hive的存储格式及压缩
qq_37283909的博客
04-16 617
行式存储与列式存储 行式存储 特点： 保证一条记录里面的所有字段能够存放在同一个hdfs的block里 优点： 当查询所有(select * from tbname)时，能直接查询出来 缺点： 不同列的字段类型不同，压缩性能差，空间利用率差 只查询某几列数据的时候，必须先把所有数据读取进来，在提取所需的几列，结果会增加磁盘IO，效率低 列式存储 优点： 每一列的数据类型是一样的，所有可以采用一定...
Hive（数据仓库）数据压缩、数据存储格式
cpz
09-02 1017
7.hive的数据压缩 在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽 **7.1 **MR支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 DEFAULT 无 DEFAULT .deflate 否 Gzip gzip ...
Hive-压缩和存储
weixin_33908217的博客
06-04 137
第8章压缩和存储 8.1 Hadoop源码编译支持Snappy压缩 8.1.1 资源准备 1．CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com是畅通的 注意：采用root角色编译，减少文件夹权限出现问题 2．jar包准备(hadoop源码、JDK8 、maven、protobuf) （1）hadoop-2.7.2-src.tar...
Hive数据压缩和存储格式
蔡政洁的博客
10-26 618
目录一、了解Hive的数据压缩二、Hive数据压缩的配置三、文件存储格式四、测试不同的文件格式（1）TextFile 格式（2）ORC格式（1）ORC（2）ORC+Snappy（3）Parquet（1）Parquet（2）Parquet+Snappy 一、了解Hive的数据压缩 hive 的数据压缩 == MR的数据压缩 1.在哪个阶段进行数据压缩 MR阶段过程： input -> map -> shuffle -> reduce -> output shuff
hive常见的几种文件存储格式与压缩方式的结合
weixin_41303204的博客
11-29 812
一.使用Parquet存储数据 数据使用列存储之前是普通的行存储，下面是行存储的的文件大小，这个HDFS上的数据 使用parquet列存储，可以将文件的大小减小化。下面具体讲parquet存储数据的代码以及加载数据的格式。 数据库代码： create table if not exists db_yhd.track_log_parquet( id STRING, url...
hive案例之---------微博数据分析及答案.zip
09-10
导入前，可能需要先将数据解压缩并处理成Hive可以识别的格式。 通过这个案例，我们可以学习到如何使用Hive处理大数据，进行数据清洗、转换、聚合分析等操作，同时理解如何将这些操作应用于实际的社会媒体数据分析中...
hive-exec-2.1.1.jar
04-14
在大数据处理领域，Hive是...总的来说，理解Hive及其相关组件的工作原理，以及如何解决特定问题，对于大数据分析师和数据工程师来说至关重要。正确配置和使用Hive，可以有效管理和分析大规模数据，从而挖掘其中的价值。
apache-hive-3.1.2-bin.tar.gz
06-24
5. `metastore/`：元数据存储相关的库和脚本，Hive使用元数据来跟踪表和分区的信息。 6. `docs/`：文档和帮助资料。 升级Jetty的过程可能包括下载源码，修改pom.xml文件以指定新版本，编译源码，然后将新编译的...
hive.ziphive数据迁移和数据分析
最新发布
01-10
在大数据处理领域，Hive...总结，Hive.ziphive数据迁移和数据分析涉及多个环节，从数据的导入、存储压缩到查询分析和结果导出，每个步骤都需精心设计和优化。理解并掌握这些知识点，对于大数据处理和分析工作至关重要。
apache-hive-2.1.1-bin.tar.gz下的bin文件夹，包含hive.cmd
02-11
此外，Hive还支持多种存储格式，如TextFile、ORC、Parquet，选择合适的存储格式可以有效地压缩数据，减少存储空间并提升查询速度。 总的来说，"apache-hive-2.1.1-bin.tar.gz"中的`bin`文件夹及其包含的`hive.cmd`...
一文搞懂Hive的数据存储与压缩
大数据技术派
09-19 428
文章目录行存储与列存储行存储的特点列存储的特点常见的数据格式TextFileSequenceFileRCfileORCfile格式数据访问Parquet测试准备测试数据存储空间大小测试SQL 执行效率总结Hive 压缩Hive中间数据压缩最终输出结果压缩常见的压缩格式Native LibrariesHive中的可用压缩编解码器演示总结 行存储与列存储 当今的数据处理大致可分为两大类，联机事务处理 OLTP(on-line transaction processing)联机分析处理 OLAP(On-Lin.
Hive 压缩和存储
记录点点滴滴
05-09 693
Hive 压缩和存储 Hadoop 压缩配置 MR支持的压缩编码 压缩参数配置 开启Map输出阶段压缩 开启 hive 中间传输数据压缩功能 开启 mapreduce 中 map 输出压缩功能 设置 mapreduce 中 map 输出数据的压缩方式 执行查询语句 开启 Reduce 输出阶段压缩 开启 hive 最终输出数据压缩功能 开启 mapreduce 最终输出数据压缩 设置 mapreduce 最终数据输出压缩方式 设置 mapreduce 最终数据输出压缩为块压缩 输出结果是否是压缩文件 文件存
Sqoop-hive的参数介绍
ItStar
02-19 1538
hive参数介绍参数说明–hive-delims-replacement <arg>用自定义的字符串替换掉数据中的\n, \r, and \01等字符–hiv...
大数据开发之sqoop&hive----记一次使用sqoop把mysql数据导入到hive中压缩使用snappy
weixin_39702831的博客
12-09 2510
最近一直在关注压缩这个问题，尤其是在hive上使用压缩。今天突然想到了，如果使用sqoop到数据到hive上的时候用压缩会怎么样呢？同时这个还涉及到我们的hadoop要能支持使用某一些压缩格式的。 #snappy安装 这次决定使用snappy这个压缩格式，但是我使用的hadoop-2.6.0-cdh5.7.0不是编译版的，在lib/native这个目录里是没有支持snappy的依赖包的，所以我们需...
Hive数据格式选择ORC及使用sqoop数据导入
qq_30868737的博客
05-15 3639
数据存储格式和压缩方式选择 Hive数据存储和压缩参考如下测试参数： 1.在压缩存储时间上，除Sequencefile外基本都相差无几。 2.数据压缩比例上ORC最优，parquet压缩性能也较好。 3.SQL查询速度而言，ORC与parquet性能较好，远超其余存储格式。 综合上述各种性能指标,我们采用ORC+SNAPPY压缩格式，这也是目前主流的做法。 参考链接 https://blog.csdn.net/breakout_alex/article/details/103007514 https:/
「Hive进阶篇」详解存储格式及压缩方式
大数据阶梯之路的博客
07-25 2988
hive优化除了有hql语句逻辑优化，hql参数调优等等，还有一个不起眼的细节容易被忽视掉，那便是hive数仓模型表的存储格式和压缩方式
关于Hive中的存储格式及压缩格式详解
wenqi
06-07 5950
最近面试，遇到了关于Hive的数据存储格式的问题，回答不尽人意，抽时间总结多看看关于Hive存储格式和压缩格式的内容。TEXTFILE 是 Hive 默认文件存储方式，存储方式为行存储，数据不做压缩，磁盘开销大，数据解析开销大，数据不支持分片，数据加载导入方式可以通过LOAD和INSERT两种方式加载数据。可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压) ，但使用gzip方式，hive不会对数据进行切分，从而无法对数据进行并行操作，但压缩后的文件不支持split。在反序列化过程中，必须逐个
Hive 压缩种类介绍 常用压缩参数 hive.exec.compression.intermediate 中间压缩 压缩优化
是个好男人的博客
12-13 2615
1.Hive压缩 尽管Hadoop的文件系统支持对于非压缩数据的线性扩展存储，但是对数据进行压缩还是有很多好处的。压缩通常能节约磁盘空间。压缩同样可以增加吞吐量和性能。压缩和解压缩会增加额外的CPU开销，不过，通过减少载入内存的数据量而提高I/O吞吐量会更加提高网络传输性能。 Hadoop的job通常是I/O密集型而不是CPU密集型的。如果是这样的话，压缩可以提高性能。不过如果用户的job是CPU密集型的话，那么使用压缩可能会降低执行性能。确定是否进行压缩的唯一方法就是尝试不同的选择，并测量对...
hadoop fs 命令大全（解析和例子）
热门推荐
weixin_46416699的博客
12-08 1万+
hadoop fs [generic options] hadoop fs -rm -f /tmp/luan/ 删除文件文件,不能删除目录 --------------------------------------------------------------------------------------- [-appendToFile <localsrc> ... <dst>] 将本地文件的内容追加到给定的dst文件。 hadoop fs -appendTo...
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一）
05-29
本文是一篇关于在Hadoop生态系统中，特别是Hive和Impala两个查询引擎下，对比Text、Orc和Parquet三种数据存储格式性能表现的研究。作者首先强调了读者需要对Hadoop、Hive、Impala、Kafka和Flink等技术有一定的了解，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术武器库

一句真诚的谢谢，胜过千言万语

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值