【004hive基础】hive的文件存储格式与压缩

最新推荐文章于 2024-04-23 18:02:45 发布
最新推荐文章于 2024-04-23 18:02:45 发布
阅读量1.7k 收藏 2
点赞数
分类专栏： # hive 文章标签： hive 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hiliang521/article/details/130797128
版权

文章目录

一.hive的行式存储与列式存储

HIve的文件存储格式常见的有四种：textfile 、sequencefile、orc、parquet ，前面两种是行式存储，后面两种是列式存储。

hive的存储格式指表的数据是如何在HDFS上组织排列的。

 
如下图，箭头的方向代表了数据是如何进行（写入）组织排列的。

在这里插入图片描述
 

我们讨论一下行、列存储在读写上的特点：

行存储在数据写入和修改上的优势
写入：

行存储的写入是一次完成的，如果这种写入建立在操作系统的文件系统上，可以保证写入过程的成功或者失败，可以保证数据的完整性。
 
列式存储写入需要把一行记录拆分成单列保存， 写入次数明显比行存储多(因为磁头调度次数多，而磁头调度是需要时间的，一般在 1ms~10ms)，再加上磁头需要在盘片上移动和定位花费的时间，实际消耗更大。

修改：

数据修改实际上也是一次写入过程，不同的是，数据修改是对磁盘上的记录做删除标记。 行存储是在指定位置写入一次，列存储是将磁盘定位到多个列上分别写入，这个过程仍是行存储的列数倍。

因为行式存储写入和修改都是一次完成，相比列式存储需要将一行记录进行拆分，行式存储的优势还是比较明显的。
 
 
列式存储在数据读取和解析、分析数据上具有优势
数据读取方面：

  • 行存储通常将一行数据完全读出，如果只需要其中几列数据的情况，就会存在冗余列，出于缩短处理时间的考量，消除冗余列的过程通常是在内存中进行的。
  • 列存储 每次读取的数据是集合的一段或者全部，不存在冗余性问题。

数据解析方面：

  • 列式存储中的每一列数据类型是相同的，不存在二义性问题，例如，某列类型为整型 int，那么它的数据集合一定是整型数据，这种情况使数据解析变得十分容易。
  • 相比之下，行存储则要复杂得多，因为在一行记录中保存了多种类型的数据，数据解析需要在多种数据类型之间频繁转换，这个操作很消耗 CPU，增加了解析的时间。

 
所以列存储在写入效率、保证数据完整性上都不如行存储，它的优势是在读取过程，不会产生冗余数据，这对数据完整性要求不高的大数据处理领域比较重要。

一般来说，一个 OLAP 类型的查询可能需要访问几百万或者几十亿行的数据，但是OLAP 分析时只是获取少数的列，对于这种场景列式数据库只需要读取对应的列即可，因此这种场景更适合列式数据库，可以大大提高 OLAP 数据分析的效率。

 
 

二. 存储格式

1. TEXTFILE

hive默认存储格式，数据不做压缩，磁盘开销大，数据解析开销大。

虽然可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压)，但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。

 

2. ORC格式

Orc (Optimized Row Columnar)是hive 0.11版里引入的新的存储格式。

可以看到每个Orc文件由1个或多个stripe组成，每个stripe250MB大小，这个Stripe实际相当于RowGroup概念，不过大小由4MB->250MB，这样能提升顺序读的吞吐率。

在这里插入图片描述
每个Stripe里有三部分组成，分别是Index Data,Row Data,Stripe Footer：

  • Index Data：默认每隔1W行做一个索引。这里的索引只是记录某行的各字段在Row Data中的offset。
  • Row Data：存储具体数据，先取部分行（1万行？），然后对这些行按列进行存储。每个列都进行了编码，分成多个Stream来存储。
  • Stripe Footer：存储stripe的元数据信息：
    • File Footer，存储Stripe的行数，每个Column的数据类型信息等；
    • PostScript，记录了Stripe的压缩类型以及FileFooter的长度信息等。

 
数据读取逻辑：

读取文件时，

  • 会先seek到文件尾部读PostScript，解析到File Footer长度
  • 再读FileFooter，从里面解析到各个Stripe信息，再读各个Stripe，即从后往前读。

 

3. PARQUET格式 ing

Parquet文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此Parquet格式文件是自解析的。

通常情况下，在存储Parquet数据的时候会按照HDFS的Block大小设置行组（多少行为一组？）大小。
由于一般情况下每一个Mapper任务处理数据的最小单位是一个Block，这样可以把每一个行组由一个Mapper任务处理，增大任务执行并行度。

Parquet文件的格式如下图所示：

在这里插入图片描述
上图展示了一个Parquet文件的内容，一个文件中可以存储多个行组，

  • 文件的首位是该文件的Magic Code，用于校验它是否是一个Parquet文件
  • Footer length记录了文件元数据的大小，通过该值和文件长度可以计算出元数据的偏移量
  • 元数据：包括行组的元数据信息和该文件存储数据的Schema信息。除了文件中每一个行组的元数据，每一页的开始都会存储该页的元数据。
  • 在Parquet中，有三种类型的页：数据页、字典页和索引页。
    • 数据页存储行组中该列的值；
    • 字典页存储该列值的编码字典，每一个列块中最多包含一个字典页
    • 索引页用来存储当前行组下该列的索引，目前Parquet中还不支持索引页。

 
 

三. Hive压缩格式

在实际工作当中，hive当中处理的数据，一般都需要经过压缩，使用压缩来节省我们的MR处理的网络带宽。

1. mr支持的压缩格式:

在这里插入图片描述
 
hadoop支持的解压缩的类：
在这里插入图片描述

 
压缩性能的比较：
在这里插入图片描述

 
hadoop需要配置的压缩参数:

在这里插入图片描述

 

2. hive配置压缩的方式:

2.1. 开启map端的压缩方式:

1.1）开启hive中间传输数据压缩功能
 hive (default)>set hive.exec.compress.intermediate=true;
1.2）开启mapreduce中map输出压缩功能
 hive (default)>set mapreduce.map.output.compress=true;
1.3）设置mapreduce中map输出数据的压缩方式
 hive (default)>set mapreduce.map.output.compress.codec
                  = org.apache.hadoop.io.compress.SnappyCodec;
1.4）执行查询语句
 select count(1) from score;

2.2.开启reduce端的压缩方式:

1）开启hive最终输出数据压缩功能
 hive (default)>set hive.exec.compress.output=true;
2）开启mapreduce最终输出数据压缩
 hive (default)>set mapreduce.output.fileoutputformat.compress=true;
3）设置mapreduce最终数据输出压缩方式
 hive (default)> set mapreduce.output.fileoutputformat.compress.codec 
                       = org.apache.hadoop.io.compress.SnappyCodec;
4）设置mapreduce最终数据输出压缩为块压缩
 hive (default)>set mapreduce.output.fileoutputformat.compress.type
                       =BLOCK;
5）测试一下输出结果是否是压缩文件
 insert overwrite local directory '/export/servers/snappy' 
       select * from score distribute by s_id sort by s_id desc;

 
 

四. hive中存储格式和压缩相结合

以ORC举例，相关配置参数：
在这里插入图片描述

创建一个非压缩的ORC存储方式：

1）建表语句
    create table log_orc_none(
    track_time string,
    url string,
    session_id string
    )ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
    STORED AS orc tblproperties ("orc.compress"="NONE");
2）插入数据
 insert into table log_orc_none select * from log_text ;
3）查看插入后数据
 dfs -du -h /user/hive/warehouse/myhive.db/log_orc_none;
 结果显示:
 7.7 M  /user/hive/warehouse/log_orc_none/123456_0

创建一个SNAPPY压缩的ORC存储方式：

1）建表语句
    create table log_orc_snappy(
    track_time string,
    url string,
    session_id string
    )ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
    STORED AS orc tblproperties ("orc.compress"="SNAPPY");
2）插入数据
 insert into table log_orc_snappy select * from log_text ;
3）查看插入后数据
 dfs -du -h /user/hive/warehouse/myhive.db/log_orc_snappy ;
 结果显示: 
 3.8 M  /user/hive/warehouse/log_orc_snappy/123456_0
 
4）实际上：默认orc存储文件默认采用ZLIB压缩。比snappy压缩率还高。

存储方式和压缩总结：

在实际的项目开发当中，hive表的数据存储格式一般选择：orc或parquet。 压缩方式一般选择snappy。

 
 

五. hive主流存储格式性能对比

从存储文件的压缩比和查询速度两个角度对比

1. 压缩比比较

（1）创建表，存储数据格式为TEXTFILE、ORC、Parquet
    create table log_text (
    track_time string,
    url string,
    session_id string,
    )ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
    STORED AS TEXTFILE  ;

（2）向表中加载数据
 load data local inpath '/export/servers/hivedatas/log.data' into table log_text ;

（3）查看表中数据大小，大小为18.1M
 dfs -du -h /user/hive/warehouse/myhive.db/log_text;

...
textfile：结果显示: 
 18.1 M  /user/hive/warehouse/log_text/log.data


ORC 结果显示:
 2.8 M  /user/hive/warehouse/log_orc/123456_0

Parquet结果显示：
13.1 M  /user/hive/warehouse/log_parquet/123456_0

数据压缩比结论: ORC > Parquet > textFile

 

2. 存储文件的查询效率测试

1)textfile
hive (default)> select count(*) from log_text;
_c0
100000
Time taken: 21.54 seconds, Fetched: 1 row(s)  

2)orc
hive (default)> select count(*) from log_orc;
_c0
100000
Time taken: 20.867 seconds, Fetched: 1 row(s) 


3)parquet
hive (default)> select count(*) from log_parquet; 
_c0
100000
Time taken: 22.922 seconds, Fetched: 1 row(s)

存储文件的查询效率比较: ORC > TextFile > Parquet

 
 

参考：
https://cloud.tencent.com/developer/article/1880494

roman_日积跬步-终至千里
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hive支持json格式的数据.pdf
10-18
。。。
【大数据之Hive】十九、Hive之文件格式和压缩
阿宁的博客
07-04 959
ORC是列式存储的文件格式，可以提高hive读写数据和处理数据的性能。左边为逻辑表。右边第一个为行式存储：取文件的一行数据存储到相邻的位置；第二个为列式存储：取文件的一列数据存储到相邻的位置。查询满足条件的一整行数据的时候，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。列式存储查找一行数据时需要去每个字段中找对应的每个列的值。因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；
大数据Hive--文件格式和压缩
xd__xy的博客
02-28 1026
压缩格式算法文件扩展名是否可切分DEFLATEDEFLATE.deflate否GzipDEFLATE.gz否bzip2bzip2.bz2是LZOLZO.lzo是SnappySnappy.snappy否为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端设置压缩。压缩格式对应的编码/解码器DEFLATEgzipbzip2LZO。
seatunnel 支持hive jdbc
07-28
source { Jdbc { url = "jdbc:hive2://111.11.11.11:10000/ods_wjw" driver = "org.apache.hive.jdbc.HiveDriver" user = "hive" password = "hive" table = ods_wjw_jb_gxy_hz_glk query = "select a,b,c from ods_wjw_jb_gxy_hz_glk" fetch_size = 300 } }
apache seatunnel支持hive jdbc
10-30
apache seatunnel支持hive jdbc
hive支持json格式的数据.docx
10-18
。。。
Hive的数据存储模式
10-08
Hive的数据存储模式Hive的数据存储模式Hive的数据存储模式Hive的数据存储模式
hive文件存储格式
achun2050的专栏
08-22 834
hive在建表是，可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式 例如： > CREATE EXTERNAL TABLE MYTEST(num INT, name STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' > STORED AS TEXTFILE > LOCATION '/data/test';
Hive之文件格式
ly13607255628的博客
10-10 1080
Hive支持的存储数的格式主要有：TEXTFILE（默认格式） 、SEQUENCEFILE、RCFILE、ORCFILE、PARQUET。 textfile为默认格式，建表时没有指定文件格式，则使用TEXTFILE，导入数据时会直接把数据文件拷贝到hdfs上不进行处理； sequencefile，rcfile，orcfile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中， 然后再从表中用insert导入sequencefile、rcfile、orcfile表中。 行存储与列
hive 数据存储格式详解
weixin_33795806的博客
08-24 93
Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成N个row group，在row group中对每个列分别进行存储。另：hive能支持自定义格式，详情见：Hive文件存储格式基于HDFS的行存储具备快速数据加载和动态负载...
HIVE数据的压缩与存储格式
meng_xin_true的博客
07-29 1594
压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、Shuffle和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。可以在任意MapReduce阶段启用压缩。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。...
hive常用文件格式详细测试.xlsx
12-02
测试orc、rcfile、sequence、parquet、textfile的压缩对比、查询时间、cpu耗时对比等
利用Hive进行复杂用户行为大数据分析及优化案例
02-20
09_Hive中数据文件的存储格式介绍及对比 10_常见的压缩格式及MapReduce的压缩介绍 11_Hadoop中编译配置Snappy压缩 12_Hadoop及Hive配置支持snappy压缩 13_Hive中的常见调优 14_Hive中的数据倾斜及解决方案-三种join...
【63课时完整版】大数据实践HIVE详解及实战
09-20
45.Hive中数据文件的存储格式介绍及对比 46.常见的压缩格式及MapReduce的压缩介绍 47.Hadoop中编译配置Snappy压缩 48.Hadoop及Hive配置支持snappy压缩 49.Hive中的常见调优 50.Hive中的数据倾斜及解决方案-三种join...
15-Hadoop压缩和存储
02-21
Hadoop压缩和存储思维导图，便捷整理思路，Hadoop压缩配置、文件存储格式、Hive支持格式、存储和压缩结合
Hive编程指南中文版
12-21
第11章 其他文件格式和压缩方法 第12章 开发 第13章 函数 第14章 Streaming 第15章 自定义Hive文件和记录格式 第16章 Hive的Thrift服务 第17章 存储处理程序和NoSQL 第18章 安全 第19章 锁 第20章 Hive和Oozie整合 ...
scripts-bda：统一数据存储库BDA的存储库
02-12
脚本-bda BDA统一存储库 Arquivos base.py e timer.py disponibilizados aqui para serem usados nos projetos。 导入或删除文件--py文件执行spark-submit。... compress_files_hdfs-压缩格式的文件。
大数据第五天(操作hive的方式)
最新发布
weixin_51885039的博客
04-23 514
操作hive的方式
springboot+mybatis+hive启动失败
weixin_45336151的博客
04-23 355
失败原因见最后几行，说明[jetty-runner-9.3.20.v20170531.jar:2.3.2]版本冲突，删除即可。
hive有几种文件存储格式
06-04
Hive支持多种文件存储格式，包括文本文件、序列文件、RC文件、ORC文件和Parquet文件等。 1. 文本文件：文本文件是一种简单的文件格式，可以使用各种文本编辑器打开和编辑。在Hive中，文本文件通常使用行分隔符将不同行的数据分开，并且可以使用分隔符将一行数据中的不同列分开。 2. 序列文件：序列文件是一种二进制文件格式，可以减少数据的存储空间和读取时间。在Hive中，序列文件可以使用LZO、Snappy等压缩算法进行压缩，进一步减少存储空间和读取时间。 3. RC文件：RC文件是一种列式存储文件格式，将相同列的数据存储在一起，可以减少读取数据时的I/O次数，提高读取效率。RC文件还支持数据压缩，可以进一步减少存储空间和读取时间。 4. ORC文件：ORC文件是一种优化的列式存储文件格式，可以进一步提高读取效率和压缩比。ORC文件支持数据类型、数据压缩、索引等多种优化技术，可以显著提高Hive表的查询性能。 5. Parquet文件：Parquet文件是一种优化的列式存储文件格式，可以进一步提高读取效率和压缩比。与ORC文件类似，Parquet文件也支持数据类型、数据压缩、索引等多种优化技术。 以上五种文件存储格式都有各自的优缺点，可以根据实际需求选择最适合的存储格式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

roman_日积跬步-终至千里

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值