Hive文件存储格式和数据压缩

最新推荐文章于 2024-01-22 14:24:07 发布
最新推荐文章于 2024-01-22 14:24:07 发布
阅读量453 收藏 1
点赞数
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jim8973/article/details/105456951
版权

Hive存储格式行存储和列存储

在这里插入图片描述
如图，左面是行存储，Hive的数据存储在Hadoop之上，但是hadoop存储的时候是以块进行存储的。行式存储就一行不管你是多少列，都是在一个bock里面的。比如你一行数据有各种类型，比如int、string等等。如果进行压缩的这种方式的压缩比，是肯定大于同一种类型的方式的压缩，不同的数据类型混在一起。

​ 在我们日常工作中，我司里的表，少说几百个字段。规模在大一些的公司，上千个字段应该不是问题。如果是行式存储，行式存储的特点一行记录所有的字段，也就是说这一行的数据全部在一起。如果我在一张有1000个字段的表里，取某俩个字段。那么行存储会读取1000列，在把我要查询的列拿出来，这样性能肯定下降的。## Hive文件存储格式
右边是列式存储，RowID是一列，Time又是一列存储在一起。每一列的数据结构是相同的，他的压缩比肯定是优于行式存储的。其次就是查询的问题，在1000个字段里面我取其中俩个不用全部读出来字段。只要读取对应的列就行了，因为他们是一个列在一起的。其实列存储也不是万能的，比如我select * 查询全部字段。这种肯定就不如行存储了。但是大数据场景一般使用列存储

  1. Hive在创建表的时候可以使用STORED AS创建，如下官网示例
[STORED AS file_format]-- (这里指定你要创建的格式是什么)
   | STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)]  
]
--示例
 file_format:
: SEQUENCEFILE
| TEXTFILE    -- (Default, 这是hive默认的格式)
| RCFILE      -- (Note: Available in Hive 0.6.0 and later)
| ORC         -- (Note: Available in Hive 0.11.0 and later)
| PARQUET     -- (Note: Available in Hive 0.13.0 and later)
| AVRO        -- (Note: Available in Hive 0.14.0 and later)
| JSONFILE    -- (Note: Available in Hive 4.0.0 and later)
 --input_format_classname 是可以使用自定义的类，output_format_classname 也是同理
 --比如create table student（id int,name, string ,age int）STORED AS INPUTFORMAT 'org.apache.hadoop.mappred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.mappred.TextInputFormat'
| INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname

1）、SEQUENCEFILE: Hadoop API提供的一种二进制文件支持，其具有使用方便、可分割、可压缩的特点。

2）、TEXTFILE: textfile为默认格式，存储方式为行存储。数据不做压缩，磁盘开销大，数据解析开销大。

3）、RCFILE（Record Columnar File）: 一种行列存储相结合的存储方式。

4）、ORC: 数据按照行分块，每个块按照列存储，其中每个块都存储有一个索引。hive给出的新格式，属于RCFILE的升级版,性能有大幅度提升,而且数据可以压缩存储,压缩快 快速列存取。

ORC这种文件格式可以作用于表或者表的分区，可以通过以下几种方式进行指定：

CREATE TABLE ... STORED AS ORC	(常用)
ALTER TABLE ... [PARTITION partition_spec] SET FILEFORMAT ORC
SET hive.default.fileformat=ORC

5）、PARQUET: Parquet也是一种行式存储，同时具有很好的压缩性能；同时可以减少大量的表扫描和反序列化的时间。

如果Hive要使用存储格式，则必须先存在一张相同数据的存储格式为TEXTFILE的表table_t0,然后在建表时使用“insert into table table_stored_file_ORC select from table_t0;”创建。或者使用”create table as select from table_t0;”创建。

下面是对TextFile、SequenceFile、RcFile、ORC、Parquet存储的比较

存储格式

1、 TEXTFILE

​ Hive中的默认的存储格式纯文本，默认不压缩的。也可自定义压缩，下面有一个18M的文件，我们用它来测试

[ruoze@ruozedata001 ~]$ hdfs dfs -du -s -h /compress/page_views.dat

18.1 M  18.1 M  /compress/page_views.dat

创建一张hive表

create table `page_views`(
`track_time` string,
`url` string,
`session_id` string,
`referer` string,
`ip` string,
`end_user_id` string,
`city_id` string)
row format delimited fields terminated by '\t'
STORED AS TEXTFILE(默认就是，可以不用加);
--加载数据
load data inpath '/compress/page_views.dat' into table `page_views`;

查询表大小

[ruoze@ruozedata001 ~]$ hdfs dfs -du -s -h /user/hive/warehouse/page_views
18.1 M  18.1 M  /user/hive/warehouse/page_views/page_views.dat

查询时读取数据量大小(单位字节，以下用同一个SQL测试)

select count(1) from page_views where session_id="B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1";
-------------------------------------------------------
HDFS Read: 19024015

2、SequenceFile

create table page_views_seq( 
track_time string, 
url string, 
session_id string, 
referer string, 
ip string, 
end_user_id string, 
city_id string 
)ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
STORED AS SequenceFile;

#查询导入
insert into table page_views_seq  select * from page_views;

查询表大小

[ruoze@ruozedata001 ~]$ hdfs dfs -du -s -h /user/hive/warehouse/page_views_seq

19.6 M  19.6 M  /user/hive/warehouse/page_views_seq

数据变大，生产上不建议使用
查询时读取数据量大小(字节)

 HDFS Read: 20510541

3、RCFile

create table page_views_rcfile
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
STORED AS RCFile
as select * from page_views

查询表大小

[ruoze@ruozedata001 ~]$ hdfs dfs -du -s -h /user/hive/warehouse/page_views_rcfile
17.9 M  17.9 M  /user/hive/warehouse/page_views_rcfile

查询读取数据量大小

select count(1) from page_views_rcfile where session_id="B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1";
------------------------------------------------------------
HDFS Read: 3726731

4、ORC

create table page_views_orc
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
STORED AS ORC
as select * from page_views

查询表大小

[ruoze@ruozedata001 ~]$ hdfs dfs -du -s -h /user/hive/warehouse/page_views_orc
2.8 M  2.8 M  /user/hive/warehouse/page_views_orc

查询读取数据量大小

select count(1) from page_views_orc where session_id="B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1";
-----------------------------------------------
HDFS Read: 1258821

5、Parquet

create table page_views_par
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
STORED AS Parquet
as select * from page_views;

查询表大小

[ruoze@ruozedata001 ~]$  hdfs dfs -du -s -h /user/hive/warehouse/page_views_par
13.1 M  13.1 M  /user/hive/warehouse/page_views_par

查询读取数据量大小

select count(1) from page_views_par where session_id="B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1";
--------------------------------------------------
HDFS Read: 2688334

使用压缩方式

1、Bzip2

set hive.exec.compress.output=true;
set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.BZip2Codec;
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec;
create table page_views_bizp2 row format delimited fields terminated by '\t' as select * from page_views;

查询表大小

[ruoze@ruozedata001 ~]$ hdfs dfs -du -h /user/hive/warehouse/page_views_bizp2

3.6 M  3.6 M  /user/hive/warehouse/page_views_bizp2/000000_0.bz2

查询读取数据量大小

select count(1) from page_views_bzip2 where session_id="B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1";
-------------------------------------------------
HDFS Read: 4075669

2、ORC+Zlip结合

create table page_views_orc_zlib
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
STORED AS ORC 
TBLPROPERTIES("orc.compress"="ZLIB")
as select * from page_views;

查询表大小

[ruoze@ruozedata001 ~]$  hdfs dfs -du -s -h /user/hive/warehouse/page_views_orc_zlib

2.8 M  2.8 M  /user/hive/warehouse/page_views_orc_zlib

查询读取数据量大小

在这里插入图片描述
压缩只有ZLIB和SNAPPY,官网地址orc

select count(1) from page_views_orc_zlib where session_id="B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1";
-------------------------------------------------------
HDFS Read: 1258883

3、Parquet+gzip结合

set parquet.compression=gzip;
create table page_views_parquet_gzip
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
STORED AS PARQUET 
as select * from page_views;

查询表大小

[ruoze@ruozedata001 ~]$  hdfs dfs -du -s -h /user/hive/warehouse/page_views_parquet_gzip

3.9 M  3.9 M  /user/hive/warehouse/page_views_parquet_gzip

查询读取数据量大小

select count(1) from page_views_parquet_gzip where session_id="B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1";
--------------------------------------------------
HDFS Read: 1625835

4、Parquet+Lzo结合

SET hive.exec.compress.output=true;  
SET mapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.lzopCodec;
SET mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec; 

create table page_views_parquet_lzo ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"
STORED AS PARQUET
TBLPROPERTIES("parquet.compression"="lzo")
as select * from page_views;

查询表大小

[ruoze@ruozedata001 ~]$  hdfs dfs -du -s -h /user/hive/warehouse/page_views_parquet_lzo

6.2 M  6.2 M  /user/hive/warehouse/page_views_parquet_lzo

查询读取数据量大小

select count(1) from page_views_parquet_lzo where session_id="B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1";
--------------------------------------------------
HDFS Read: 2434096
jim8973
关注
专栏目录
(10)Hive的相关概念——文件格式和数据压缩
爱吃辣条的博客
02-15 1702
Hive的相关概念——文件格式和数据压缩
hive 修改表的存储格式_hive表存储格式及压缩
weixin_42228776的博客
12-23 2182
1.textfileHive数据表的默认格式，磁盘开销大，数据解析开销大存储方式：行存储压缩方式：使用Gzip,Bzip2等压缩算法压缩，压缩后的文件不支持split但在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍。--创建数据表：create table if not exists textfile_table(site strin...
Hive(一):之Compression(1)----:谈谈HDFS/Hive里的压缩
huonan_123的博客
11-29 546
在大数据存储、传送、读取中往往会跟进不同的业务应用场景选择不同的压缩技术,由于压缩方式的选择的不同,优势和弊端也不同,就像一个天平,要找到适合的那个平衡点
Hive压缩格式
weixin_30824599的博客
08-18 178
TextFile Hive数据表的默认格式，存储方式：行存储。 可使用Gzip,Bzip2等压缩算法压缩,压缩后的文件不支持split 但在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍。 --创建数据表：create table if not exists textfile_table( site string,...
hive的压缩和存储格式
qq_25534101的博客
04-15 194
压缩 一般使用snappy压缩方式 开启map端的压缩 案例实操： 1）开启hive中间传输数据压缩功能 hive (default)>set hive.exec.compress.intermediate=true; 2）开启mapreduce中map输出压缩功能 hive (default)>set mapreduce.map.output.compress=true; 3）设置mapreduce中map输出数据的压缩方式 hive (default)>set mapreduce.ma
HIVE存储格式和压缩方式详解
weixin_46429290的博客
07-11 2417
引用：https://blog.csdn.net/yizhiniu_xuyw/article/details/113811001LZO压缩算法特点：SNAPPY压缩算法特点：尽管 Snappy 应该相当轻便，但它主要针对 64 位 x86 兼容处理器进行了优化，并且在其他环境中运行速度可能较慢。BZIP2压缩算法特点：HIVE的压缩格式压缩可以存在很多地方，在mr任务运行时候，map端溢写到磁盘，以及reduce端从磁盘中拉取文件，都有大量的IO操作，都可以设置压缩方法。设置压缩格式的参数如下所示HIVE配
关于Hive中的存储格式及压缩格式详解
wenqi
06-07 6133
最近面试，遇到了关于Hive的数据存储格式的问题，回答不尽人意，抽时间总结多看看关于Hive存储格式和压缩格式的内容。TEXTFILE 是 Hive 默认文件存储方式，存储方式为行存储，数据不做压缩，磁盘开销大，数据解析开销大，数据不支持分片，数据加载导入方式可以通过LOAD和INSERT两种方式加载数据。可结合Gzip、Bzip2使用(系统自动检查，执行查询时自动解压) ，但使用gzip方式，hive不会对数据进行切分，从而无法对数据进行并行操作，但压缩后的文件不支持split。在反序列化过程中，必须逐个
hive 修改表的存储格式_Hive表的文件存储格式详解和相关性能分析
weixin_29847829的博客
12-23 914
hive文件存储格式和创建语句hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接从本地文件导入数据，数据要先导入到textfile...
Hive存储格式和压缩算法
卡卡的博客
10-31 1525
Hive文件存储格式和压缩算法介绍
Hive数据仓库文件存储压缩格式探究及经验总结
石榴姐yyds
07-12 1657
数仓存储压缩格式的选择对于数仓存储及性能的优化具有重要参考意义，存储优化是一个重要的指标，他可以帮助节省磁盘存储空间，节约了成本。本文对常见的几种压缩存储方案进行了研究，并对其性能各方面进行了测试，给出了数仓中常用的存储压缩解决方案，并对实践中遇到的问题进行了总结，具有一定的借鉴意义。
【004hive基础】hive的文件存储格式与压缩
hiliang521的博客
05-22 2168
hive文件存储格式与压缩
Hive数据库系列--Hive文件格式/Hive存储格式/Hive压缩格式
最新发布
weixin_49114503的博客
01-22 2118
Hive数据库系列--Hive文件格式/Hive存储格式/Hive压缩格式
HIVE数据的压缩与存储格式
meng_xin_true的博客
07-29 2071
压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、Shuffle和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。可以在任意MapReduce阶段启用压缩。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。...
hive：存储格式和压缩算法
weixin_43326165的博客
10-11 597
存储格式(hive自带的存储格式) a b a1 b1 a2 b2 a3 b3 什么是按行存储？ a1b1a2b2a3b3 什么是按列存储？ a1a2a3b1b2b3 两者存储的形式不同，造成了不用的应用场景。行存储更费空间，而且如果查询一整行数据的情况多的时候，因为按行存储，整行的元素都在附近，读取效率就更高。反之，如果查询的只是几个字段，按列效率会更高，而且按列存储...
Hive之存储和压缩
luoyepiaoxue2014的博客
11-26 828
Hive系列之存储和压缩
【大数据之Hive】十九、Hive之文件格式和压缩
阿宁的博客
07-04 1260
ORC是列式存储的文件格式，可以提高hive读写数据和处理数据的性能。左边为逻辑表。右边第一个为行式存储：取文件的一行数据存储到相邻的位置；第二个为列式存储：取文件的一列数据存储到相邻的位置。查询满足条件的一整行数据的时候，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。列式存储查找一行数据时需要去每个字段中找对应的每个列的值。因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；
Hive数据压缩和存储格式
蔡政洁的博客
10-26 635
目录一、了解Hive的数据压缩二、Hive数据压缩的配置三、文件存储格式四、测试不同的文件格式（1）TextFile 格式（2）ORC格式（1）ORC（2）ORC+Snappy（3）Parquet（1）Parquet（2）Parquet+Snappy 一、了解Hive的数据压缩 hive 的数据压缩 == MR的数据压缩 1.在哪个阶段进行数据压缩 MR阶段过程： input -> map -> shuffle -> reduce -> output shuff
【Hive】压缩格式
Just Do IT
06-29 4738
常见压缩格式 压缩方式 压缩比 压缩速度 解压缩速度 是否可分割 gzip 13.4% 21 MB/s 118 MB/s 否 bzip2 13.2% 2.4MB/s 9.5MB/s 是 lzo 20.5% 135 MB/s 410 MB/s 是 snappy 22.2% 172 MB/s 409 MB/s 否 压缩格式对应的编/解码器 压缩格式 对应的编/解码器 DEFLATE org.apache.hadoop.io.compress.DefaultCode
Hive优化--文件压缩格式
点点滴滴一世界
10-20 423
1.1.    Hive表文件及中间文件使用合适的文件压缩格式 GZip和Snappy，这两种压缩算法在大数据应用中最常见，适用范围最广，压缩率和速度都较好，读取数据也不需要专门的解压操作，对编码来说透明。 压缩率跟数据有关，通常从2到5不等；两种算法中，GZip的压缩率更高，但是消耗CPU更高，Snappy的压缩率和CPU消耗更均衡。     对于存储资源受限或客户要求文件必须压缩的场景，
CDH550 Hive存储格式与HQL详解：行存、列存与压缩
"CDH550@hive存储格式和HQL材料主要涵盖了Hive的三种存储模式：行存储、列存储和混合存储，以及Hive数据压缩的不同方式，如gzip、lzo和snappy。" 在CDH550版本的Hive中，数据存储有三种基本模式： 1. 行存储模式是...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值