4、Hive压缩、存储原理详解与实战

最新推荐文章于 2024-07-28 14:07:27 发布
最新推荐文章于 2024-07-28 14:07:27 发布
阅读量402 收藏 1
点赞数
文章标签： hive 信息压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40453404/article/details/104068323
版权

在这里插入图片描述

1、Hive 压缩

1.1数据压缩说明

压缩模式评价：

（1）压缩比

（2）压缩时间

（3）已经压缩的是否可以再分割；可以分割的格式允许单一文件有多个Mapper程序处理，才可以更好的并行化。

Hadoop编码/解码器方式：

1.2数据压缩使用

  • 压缩模式评价

    • 可使用以下三种标准对压缩方式进行评价
      • 1、压缩比：压缩比越高，压缩后文件越小，所以压缩比越高越好
      • 2、压缩时间：越快越好
      • 3、已经压缩的格式文件是否可以再分割：可以分割的格式允许单一文件由多个Mapper程序处理，可以更好的并行化

  • 常见压缩格式

压缩方式压缩比压缩速度解压缩速度是否可分割
gzip13.4%21 MB/s118 MB/s否
bzip213.2%2.4MB/s9.5MB/s是
lzo20.5%135 MB/s410 MB/s是
snappy22.2%172 MB/s409 MB/s否

Hadoop编码/解码器方式

压缩格式对应的编码/解码器
DEFLATEorg.apache.hadoop.io.compress.DefaultCodec
Gziporg.apache.hadoop.io.compress.GzipCodec
BZip2org.apache.hadoop.io.compress.BZip2Codec
LZOcom.hadoop.compress.lzo.LzopCodec
Snappyorg.apache.hadoop.io.compress.SnappyCodec

1.3、压缩配置参数

要在Hadoop中启用压缩，可以配置如下参数（mapred-site.xml文件中）：

参数默认值阶段建议
io.compression.codecs （在core-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.Lz4Codec输入压缩Hadoop使用文件扩展名判断是否支持某种编解码器
mapreduce.map.output.compressfalsemapper输出这个参数设为true启用压缩
mapreduce.map.output.compress.codecorg.apache.hadoop.io.compress.DefaultCodecmapper输出使用LZO、LZ4或snappy编解码器在此阶段压缩数据
mapreduce.output.fileoutputformat.compressfalsereducer输出这个参数设为true启用压缩
mapreduce.output.fileoutputformat.compress.codecorg.apache.hadoop.io.compress. DefaultCodecreducer输出使用标准工具或者编解码器，如gzip和bzip2
mapreduce.output.fileoutputformat.compress.typeRECORDreducer输出SequenceFile输出使用的压缩类型：NONE和BLOCK

1.4、开启Map输出阶段压缩

开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下：

案例实操：

1）开启hive中间传输数据压缩功能
hive (default)>set hive.exec.compress.intermediate=true;

2）开启mapreduce中map输出压缩功能
hive (default)>set mapreduce.map.output.compress=true;

3）设置mapreduce中map输出数据的压缩方式
hive (default)>set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;

4）执行查询语句
select count(1) from score;

1.5、开启Reduce输出阶段压缩

当Hive将输出写入到表中时，输出内容同样可以进行压缩。属性hive.exec.compress.output控制着这个功能。用户可能需要保持默认设置文件中的默认值false，这样默认的输出就是非压缩的纯文本文件了。用户可以通过在查询语句或执行脚本中设置这个值为true，来开启输出结果压缩功能。

1）开启hive最终输出数据压缩功能
hive (default)>set hive.exec.compress.output=true;

2）开启mapreduce最终输出数据压缩
hive (default)>set mapreduce.output.fileoutputformat.compress=true;

3）设置mapreduce最终数据输出压缩方式
hive (default)> set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

4）设置mapreduce最终数据输出压缩为块压缩
hive (default)>set mapreduce.output.fileoutputformat.compress.type=BLOCK;

5）测试一下输出结果是否是压缩文件
insert overwrite local directory '/kkb/install/hivedatas/snappy' select * from score distribute by s_id sort by s_id desc;

2、Hive 存储

2.1、hive表的文件存储格式

Hive支持的存储数的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。

1、列式存储和行式存储

在这里插入图片描述
上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。

行存储的特点： 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。select *

列存储的特点： 因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。select某些字段效率更高

TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的；

ORC和PARQUET是基于列式存储的。

2.1.1、TEXTFILE格式

默认格式，数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压)，但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。

2.1.2、ORC格式

Orc (Optimized Row Columnar)是hive 0.11版里引入的新的存储格式。

可以看到每个Orc文件由1个或多个stripe组成，每个stripe250MB大小，这个Stripe实际相当于RowGroup概念，不过大小由4MB->250MB，这样能提升顺序读的吞吐率。每个Stripe里有三部分组成，分别是Index Data,Row Data,Stripe Footer：
在这里插入图片描述
一个orc文件可以分为若干个Stripe

一个stripe可以分为三个部分

indexData：某些列的索引数据

rowData :真正的数据存储

StripFooter：stripe的元数据信息

1）Index Data：一个轻量级的index，默认是每隔1W行做一个索引。这里做的索引只是记录某行的各字段在Row Data中的offset。

​ 2）Row Data：存的是具体的数据，先取部分行，然后对这些行按列进行存储。对每个列进行了编码，分成多个Stream来存储。

​ 3）Stripe Footer：存的是各个stripe的元数据信息

每个文件有一个File Footer，这里面存的是每个Stripe的行数，每个Column的数据类型信息等；每个文件的尾部是一个PostScript，这里面记录了整个文件的压缩类型以及FileFooter的长度信息等。在读取文件时，会seek到文件尾部读PostScript，从里面解析到File Footer长度，再读FileFooter，从里面解析到各个Stripe信息，再读各个Stripe，即从后往前读。

2.1.3、PARQUET格式

Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目。

Parquet文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此Parquet格式文件是自解析的。

通常情况下，在存储Parquet数据的时候会按照Block大小设置行组的大小，由于一般情况下每一个Mapper任务处理数据的最小单位是一个Block，这样可以把每一个行组由一个Mapper任务处理，增大任务执行并行度。Parquet文件的格式如下图所示。

2.2、主流文件存储格式对比实验

从存储文件的压缩比和查询速度两个角度对比。

存储文件的压缩比测试：

测试数据 参见log.data

1）TextFile

（1）创建表，存储数据格式为TEXTFILE

use myhive;
create table log_text (
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE ;

（2）向表中加载数据

load data local inpath '/kkb/install/hivedatas/log.data' into table log_text ;

（3）查看表中数据大小，大小为18.1M

dfs -du -h /user/hive/warehouse/myhive.db/log_text;
18.1 M  /user/hive/warehouse/log_text/log.data
2）ORC

（1）创建表，存储数据格式为ORC

create table log_orc(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS orc ;

（2）向表中加载数据

insert into table log_orc select * from log_text ;

（3）查看表中数据大小

dfs -du -h /user/hive/warehouse/myhive.db/log_orc;

2.8 M  /user/hive/warehouse/log_orc/123456_0

orc这种存储格式，默认使用了zlib压缩方式来对数据进行压缩，所以数据会变成了2.8M，非常小

3）Parquet

（1）创建表，存储数据格式为parquet

create table log_parquet(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS PARQUET ;

（2）向表中加载数据

insert into table log_parquet select * from log_text ;

（3）查看表中数据大小

dfs -du -h /user/hive/warehouse/myhive.db/log_parquet;

13.1 M  /user/hive/warehouse/log_parquet/123456_0

存储文件的压缩比总结：

ORC >  Parquet >  textFile

存储文件的查询速度测试：

1）TextFile
hive (default)> select count(*) from log_text;
_c0
100000
Time taken: 21.54 seconds, Fetched: 1 row(s)  

2）ORC
hive (default)> select count(*) from log_orc;
_c0
100000
Time taken: 20.867 seconds, Fetched: 1 row(s)  

3）Parquet
hive (default)> select count(*) from log_parquet; 
_c0
100000
Time taken: 22.922 seconds, Fetched: 1 row(s)

存储文件的查询速度总结：
ORC > TextFile > Parquet

3、存储和压缩结合

**

1）TextFile
hive (default)> select count(*) from log_text;
_c0
100000
Time taken: 21.54 seconds, Fetched: 1 row(s)  

2）ORC
hive (default)> select count(*) from log_orc;
_c0
100000
Time taken: 20.867 seconds, Fetched: 1 row(s)  

3）Parquet
hive (default)> select count(*) from log_parquet; 
_c0
100000
Time taken: 22.922 seconds, Fetched: 1 row(s)

存储文件的查询速度总结：
ORC > TextFile > Parquet

2、存储和压缩结合

官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC

ORC存储方式的压缩：

KeyDefaultNotes
orc.compressZLIBhigh level compression (one of NONE, ZLIB, SNAPPY)
orc.compress.size262,144number of bytes in each compression chunk
orc.stripe.size67,108,864number of bytes in each stripe
orc.row.index.stride10,000number of rows between index entries (must be >= 1000)
orc.create.indextruewhether to create row indexes
orc.bloom.filter.columns“”comma separated list of column names for which bloom filter should be created
orc.bloom.filter.fpp0.05false positive probability for bloom filter (must >0.0 and <1.0)
1）创建一个非压缩的的ORC存储方式

（1）建表语句

create table log_orc_none(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS orc tblproperties ("orc.compress"="NONE");

（2）插入数据

insert into table log_orc_none select * from log_text ;

（3）查看插入后数据

dfs -du -h /user/hive/warehouse/myhive.db/log_orc_none;

7.7 M  /user/hive/warehouse/log_orc_none/123456_0
2）创建一个SNAPPY压缩的ORC存储方式

（1）建表语句

create table log_orc_snappy(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS orc tblproperties ("orc.compress"="SNAPPY");

（2）插入数据

insert into table log_orc_snappy select * from log_text ;

（3）查看插入后数据

dfs -du -h /user/hive/warehouse/myhive.db/log_orc_snappy ;
3.8 M  /user/hive/warehouse/log_orc_snappy/123456_0

3）上一节中默认创建的ORC存储方式，导入数据后的大小为

2.8 M  /user/hive/warehouse/log_orc/123456_0

比Snappy压缩的还小。原因是orc存储文件默认采用ZLIB压缩。比snappy压缩的小。

4）存储方式和压缩总结：

​ 在实际的项目开发当中，hive表的数据存储格式一般选择：orc或parquet。压缩方式一般选择snappy。

3、Hiv SerDe

3.1、SerDe介绍

​ Serde是 Serializer/Deserializer的简写。hive使用Serde进行行对象的序列与反序列化。最后实现把文件内容映射到 hive 表中的字段数据类型。

​ 为了更好的阐述使用 SerDe 的场景，我们需要了解一下 Hive 是如何读数据的(类似于HDFS 中数据的读写操作)：

HDFS files –> InputFileFormat –> <key, value> –> Deserializer –> Row object

Row object –> Serializer –> <key, value> –> OutputFileFormat –> HDFS files

3.2、Hive的SerDe 类型

  • Hive 中内置org.apache.hadoop.hive.serde2 库，内部封装了很多不同的SerDe类型。
  • hive创建表时， 通过自定义的SerDe或使用Hive内置的SerDe类型指定数据的序列化和反序列化方式。
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name 
[(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 
[CLUSTERED BY (col_name, col_name, ...) 
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] 
[ROW FORMAT row_format] 
[STORED AS file_format] 
[LOCATION hdfs_path]

  • 如上创建表语句， 使用row format 参数说明SerDe的类型。

  • 你可以创建表时使用用户自定义的Serde或者native Serde， 如果 ROW FORMAT没有指定或者指定了 ROW FORMAT DELIMITED就会使用native Serde。

  • Hive SerDes:

    • Avro (Hive 0.9.1 and later)
    • ORC (Hive 0.11 and later)
    • RegEx
    • Thrift
    • Parquet (Hive 0.13 and later)
    • CSV (Hive 0.14 and later)
    • MultiDelimitSerDe

3.3、Hive的SerDe案列

1 通过MultiDelimitSerDe 解决多字符分割场景
  • 1、创建表
use myhive;
create  table t1 (id String, name string)
row format serde 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe'
WITH SERDEPROPERTIES ("field.delim"="##");
  • 2、准备数据 t1.txt
cd /kkb/install/hivedatas
vim t1.txt


1##xiaoming
2##xiaowang
3##xiaozhang
  • 3、加载数据
load data local inpath '/kkb/install/hivedatas/t1.txt' into table t1;
  • 4、查询数据
0: jdbc:hive2://node1:10000> select * from t1;
+--------+------------+--+
| t1.id  |  t1.name   |
+--------+------------+--+
| 1      | xiaoming   |
| 2      | xiaowang   |
| 3      | xiaozhang  |
+--------+------------+--+
2 通过RegexSerDe 解决多字符分割场景
  • 1、创建表
create  table t2(id int, name string)
row format serde 'org.apache.hadoop.hive.serde2.RegexSerDe' 
WITH SERDEPROPERTIES ("input.regex" = "^(.*)\\#\\#(.*)$");
  • 2、准备数据 t1.txt
1##xiaoming
2##xiaowang
3##xiaozhang
  • 3、加载数据
load data local inpath '/kkb/install/hivedatas/t1.txt' into table t2;
  • 4、查询数据
0: jdbc:hive2://node1:10000> select * from t2;
+--------+------------+--+
| t2.id  |  t2.name   |
+--------+------------+--+
| 1      | xiaoming   |
| 2      | xiaowang   |
| 3      | xiaozhang  |
+--------+------------+--+

hadoop.hive.serde2.RegexSerDe’
WITH SERDEPROPERTIES (“input.regex” = “^(.)\#\#(.)$”);


- 2、准备数据 t1.txt

1##xiaoming
2##xiaowang
3##xiaozhang


- 3、加载数据

```sql
load data local inpath '/kkb/install/hivedatas/t1.txt' into table t2;
  • 4、查询数据
0: jdbc:hive2://node1:10000> select * from t2;
+--------+------------+--+
| t2.id  |  t2.name   |
+--------+------------+--+
| 1      | xiaoming   |
| 2      | xiaowang   |
| 3      | xiaozhang  |
+--------+------------+--+
充满元气的Code猿
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Storm核心概念与实战详解
程序员光剑
07-31 1659
2010年Hadoop项目开源后，Storm项目也随之走向人气爆棚。在如此火热的当下，给我们带来的好处不仅仅是增强对Hadoop平台的掌控能力，更重要的是让我们感受到了快速发展、海量数据处理能力、低延迟的优势。在这一系列文章中，我将深入浅出地介绍Storm项目，并从实际案例出发，带领大家全面理解Storm中的关键概念及其运作方式，让您轻松掌握Storm的高效率、高性能处理能力。
大数据处理框架原理与代码实战案例讲解
程序员光剑
06-27 294
大数据处理框架原理与代码实战案例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：大数据处理框架,Hadoop,Dask,Cassandra,Spark,BigQuery,数据分析流程,并行计算,海量数据管理
大数据——Hive原理
最新发布
庄小焱
07-28 1206
Apache Hive 是一个基于 Hadoop 分布式文件系统 (HDFS) 的数据仓库软件项目，专为存储和处理大规模数据集而设计。它提供类似 SQL 的查询语言 HiveQL，使用户能够轻松编写复杂的查询和分析任务，而无需深入了解 Hadoop 的底层实现。
Hive 存储机制
努力变得不菜的菜鸡的博客
07-28 457
Hive所有的数据都存储在HDFS中，没有专门的数据存储格式（可支持Text、SequenceFile等） 只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符，Hive就可以解析数据 Hive所有的数据都存储在HDFS中，存储结构主要包括数据、文件、表和视图。 HIve中包含以下数据模型：DB, Table, External Table, Partition, Bucket （1）DB...
Hive 压缩和存储
Da.的博客
06-18 881
1 Hadoop 源码编译支持 Snappy 压缩 1 资源准备 1） CentOS 联网 配置 CentOS 能连接外网。 Linux 虚拟机 ping www.baidu.com 是畅通的 注意： 采用 root 角色编译，减少文件夹权限出现问题 2） jar 包准备(hadoop 源码、 JDK8 、 maven、 protobuf) （1） hadoop-2.7.2-src.t...
Hive压缩说明
xsdxs的博客
11-13 8586
Hive压缩使用
【63课时完整版】大数据实践HIVE详解及实战
09-20
45.Hive中数据文件的存储格式介绍及对比 46.常见的压缩格式及MapReduce的压缩介绍 47.Hadoop中编译配置Snappy压缩 48.Hadoop及Hive配置支持snappy压缩 49.Hive中的常见调优 50.Hive中的数据倾斜及解决方案-三种join...
hive调优原理详解：案例解析参数配置(第17天）
syhiiu的博客
06-28 1445
本文主要详解hive调优，案例解析。
hive explain 执行计划详解看懂执行过程
liuya19921123的博客
10-01 3576
HIVE简介 讲explain之前，先了解大家常说的用hive查询取数和etl的过程，但是在讲hive查询取数过程，又得先了解大家又常说的hadoop集群到底是干什么的？ 一句话概括：Hadoop就是存储海量数据和分析海量数据的工具。 Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。 HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进
snappy压缩过程详解
03-25
对snappy压缩研究后的算法详解，有兴趣的可以看看
Hive基本原理
菜鸟
12-12 698
基于Hadoop的一个数据仓库工具，本质上是一个翻译器，在hadoop基础上架设一层接口，使得可以使用类似sql的hql语句来操作数据。 主要特点： 分析离线数据，不具有实时性 不支持事务 不支持修改 有很多的数据冗余 Hive的存储结构： Hive的数据库实际上时HDFS文件系统中的 [库名].db 文件夹。 Hive数据库中的表，实际上是库文件夹下的子文件夹。 Hive中表的数据就是对应...
Hive文件格式与压缩
04-24 973
概念与实操相结合介绍Hive文件格式及压缩的实现方法
Hive运行原理
夫唯不争，故天下莫能与之争。
09-18 3626
http://www.it165.net/pro/html/201606/70010.html
大数据（Hive）-原理
不瘦十斤不换名字
06-10 1510
简介 Hive由Facebook开源，是一个构建才hadoop之上到数据仓库工具，可以把hdfs上到结构化数据映射成表，并通过mapreduce进行统计分析。Hive支持SQL-92标准，通过HQL屏蔽了复杂到MapReduce，但由于hadoop本身的限制，hive不支持随机修改表中的数据，也不支持追加操作。 Hive的优点 学习成本低 能够快速实现复杂的数据分析 屏蔽mapre...
hive中的数据压缩图解
qq_36382679的博客
06-24 106
Hive体系结构（二）Hive的执行原理、与关系型数据库的比较
热门推荐
Lnho的专栏
05-15 1万+
接上篇：Hive体系结构（一）架构与基本组成1. Hive执行原理Hive构建在Hadoop之上， 1. HQL中对查询语句的解释、优化、生成查询计划是由Hive完成的 2. 所有的数据都是存储在Hadoop中 3. 查询计划被转化为MapReduce任务，在Hadoop中执行（有些查询没有MR任务，如：select * from table） 4. Hadoop和Hive都是用UTF-8编
Hadoop源码编译与Snappy压缩：Hive压缩存储实战
这个资源提供了关于在Hadoop和Hive环境中启用Snappy压缩的详细步骤，这对于那些需要处理大量数据并希望优化存储和处理效率的用户来说非常有用。通过正确配置和使用压缩，可以有效地降低成本，提升大数据处理系统的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值