Hive中的文件存储格式TEXTFILE、SEQUENCEFILE、RCFILE、ORCFILE、Parquet 和 AVRO使用与区别详解

最新推荐文章于 2023-01-09 15:33:22 发布
最新推荐文章于 2023-01-09 15:33:22 发布
阅读量4k 收藏 32
点赞数 5
分类专栏： Hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43230682/article/details/107185876
版权

前言


Hive中常用的文件存储格式有：TEXTFILE 、SEQUENCEFILE、RCFILE、ORC、PARQUET，AVRO。其中TEXTFILE 、SEQUENCEFILE、AVRO都是基于行式存储，其它三种是基于列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了A方式，那么在向表中插入数据的时候，将会使用该方式向HDFS中添加相应的数据类型。

列式存储和行式存储

如上图所示，左边为逻辑表，右边第一个为行式存储，第二个为列式存储。

1．行存储的特点

查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。

2．列存储的特点

因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。

Hive中几种常用文件存储格式的区别与联系

 

文件存储格式描述建表时如何指定优缺点
TEXTFILE

文件存储就是正常的文本格式，将表中的数据在hdfs上 以文本的格式存储

，下载后可以直接查看，也可以使用cat命令查看

1.无需指定，默认就是
2.显示指定stored as textfile
3.显示指定 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT           

 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

1.行存储使用textfile存储文件默认每一行就是一条记录，
2.可以使用任意的分隔符进行分割。
3.但无压缩，所以造成存储空间大。可结合Gzip、Bzip2、Snappy等使用（系统自动检查，执行查询时自动解压），但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。
SEQUENCEFILE

在hdfs上将表中的数据以二进制格式编码，并且将数据压缩了，下载数据

以后是二进制格式，不可以直接查看，无法可视化。

1.stored as sequecefile
2.或者显示指定：
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.SequenceFileInputFormat' 
OUTPUTFORMAT 
 'org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat'

1.sequencefile存储格有压缩，存储空间小，有利于优化磁盘和I/O性能

2.同时支持文件切割分片，提供了三种压缩方式：none,record,block（块级别压缩效率跟高）.默认是record(记录)

3.基于行存储

RCFILE在hdfs上将表中的数据以二进制格式编码，并且支持压缩。下载后的数据不可以直接可视化。1.stored as rcfile 
2.或者显示指定：
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.RCFileInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.RCFileOutputFormat'

1.行列混合的存储格式，基于列存储。

2.因为基于列存储，列值重复多，所以压缩效率高。

3.磁盘存储空间小，io小。

ORCFILE ORC File，全名是Optimized Row Columnar (ORC) file，其实就是对RCFile做了一些优化。据官方文档介绍，这种文件格式可以提供一种高效的方法来存储Hive数据。它的设计目标是来克服Hive其他格式的缺陷。运用ORC File可以提高Hive的读、写以及处理数据的性能。

1.CREATE TABLE ... STORED AS ORC

2.ALTER TABLE ... [PARTITION partition_spec] SET FILEFORMAT ORC

3.SET hive.default.fileformat=Orc

1.面向列的存储格式

2.由Hadoop中RC files 发展而来，比RC file更大的压缩比，和更快的查询速度
3.Schema 存储在footer中
4.不支持schema evolution
5.支持事务(ACID)
6.为hive而生，在许多non-hive MapReduce的大数据组件中不支持使用
7.高度压缩比并包含索引

Parquet

Parquet文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此Parquet格式文件是自解析的。

Hive 0.13 and later：STORED AS PARQUET;

Hive 0.10 - 0.12：
ROW FORMAT SERDE 'parquet.hive.serde.ParquetHiveSerDe'
STORED AS
INPUTFORMAT 'parquet.hive.DeprecatedParquetInputFormat'
OUTPUTFORMAT 'parquet.hive.DeprecatedParquetOutputFormat'; 

1.与ORC类似，基于Google dremel

2.Schema 存储在footer

3.列式存储

4.高度压缩比并包含索引

5.相比ORC的局限性，parquet支持的大数据组件范围更广

Avro

Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。支持二进制序列化方式，可以便捷，快速地处理大量数据；动态语言友好，Avro提供的机制使动态语言可以方便地处理Avro数据。

1.STORED AS AVRO

2.STORED AS

INPUTFORMAT

'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'

OUTPUTFORMAT

'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'

 


1.Avro以基于行的格式存储数据

2.设计的主要目标是为了满足schema evolution

3.schema和数据保存在一起

 

性能测试

新建六张不同文件格式的测试用表：

--textfile文件格式
CREATE TABLE `test_textfile`(`id` STRING,…,`desc` STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS textfile;

--sequence文件格式
CREATE TABLE `test_sequence`(`id` STRING,…,`desc` STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS sequence;

--rc文件格式
CREATE TABLE `test_rc`(`id` STRING,…,`desc` STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS rc;

--orc文件格式
CREATE TABLE `test_orc`(`id` STRING,…,`desc` STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS orc;

--parquet文件格式
CREATE TABLE `test_parquet`(`id` STRING,…,`desc` STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS parquet;

--avro文件格式
CREATE TABLE `test_avro`(`id` STRING,…,`desc` STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS avro;

然后，从同一个源表新增数据到这六张测试表，为了体现存储数据的差异性，我们选取了一张数据量比较大的源表（源表数据量为30000000条），根据测试结果从存储空间和SQL查询两个方面进行比较：

文件存储格式HDFS存储空间不含group by含group by
TextFile7.3 G105s370s
Sequence7.8 G135s385s
RC6.9 G92s330s
ORC246.0 M34s310s
Parquet769.0 M28s195s
AVRO8.0G240s530s

根据性能测试总结

  • 从存储文件的压缩比来看，ORC和Parquet文件格式占用的空间相对而言要小得多。
  • 从存储文件的查询速度看，当表数据量较大时Parquet文件格式查询耗时相对而言要小得多。

实际情况


根据目前主流的做法来看，Hive中选用ORC和Parquet文件格式似乎更好一点，但是为什么Hive默认的文件存储格式是TextFile？
这是因为大多数情况下源数据文件都是以text文件格式保存（便于查看验数和防止乱码），这样TextFile文件格式的Hive表能直接load data数据。
如果说我们想使用ORC文件或者Parquet文件格式的表数据，可以先通过TextFile表加载后再insert到指定文件存储格式的表中。而这些不同文件格式的表我们可以通过数据分层保存，便于后期进行数据统计。

 

皮哥四月红
关注
  • 5
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一）
05-29
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一） 网址：https://blog.csdn.net/chenwewi520feng/article/details/130465139 本文通过在hdfs中三种不同数据格式文件存储相同数量的数据，通过hive和impala两种客户端查询进行比较。 本文前提：熟悉hadoop、hive和impala、kafka、flink等，并且其环境都可正常使用。（在后续的专栏中都会将对应的内容补全，目前已经完成了zookeeper和hadoop的部分。） 本文分为五个部分，即结论、三种文件介绍、需求、实现步骤、实现和网上别人的结论与验证。 由于本文太长，导致阅读可能比较麻烦，故一篇文章分为两篇，第一篇是准备数据，第二篇是查询比较。本文是第一篇。 本文接1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二），比较的具体数据在第二篇。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二）
05-29
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二） 网址：https://blog.csdn.net/chenwewi520feng/article/details/130465463 本文通过在hdfs中三种不同数据格式文件存储相同数量的数据，通过hive和impala两种客户端查询进行比较。 本文前提：熟悉hadoop、hive和impala、kafka、flink等，并且其环境都可正常使用。（在后续的专栏中都会将对应的内容补全，目前已经完成了zookeeper和hadoop的部分。） 本文分为五个部分，即结论、三种文件介绍、需求、实现步骤、实现和网上别人的结论与验证。 由于本文太长，导致阅读可能比较麻烦，故一篇文章分为两篇，第一篇是准备数据，第二篇是查询比较。本文是第二篇。 本文接1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一），阅读本文前需要先阅读第一篇。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.
Hive的压缩格式和数据存储格式
m0_46503302的博客
01-09 927
所以最终建议，在工作中选择ORC+Snappy。 但是有时候在选择数据存储格式的时候还需要考虑它的兼容度，是否支持多种计算引擎。 假设我希望这一份数据，既可以在Hive中使用，还希望在Impala中使用，这个时候就需要重点考虑这个数据格式是否能满足多平台同时使用。 Impala很早就开始支持Parquet数据格式了，但是不支持ORC数据格式，不过从Impala 3.x版本开始也支持ORC了。 如果你们使用的是Impala2.x版本，还想要支持Hive和Impala查询同一份数据，这个时候就需要选择Par
Hive中配置Parquet(CDH4.3)
weixin_33726943的博客
08-27 360
CDH4.3版本中并没有提供现成的Parquet安装包，所以如果在Hive或Impala中需要使用Parquet格式，需要手动进行安装，当创建Parquet格式的表时，需要定义Parquet相关的InputFormat,OutputFormat,Serde，建表语句如下hive>createtableparquet_test(xint,ystring...
Hive新建表，默认是text格式 
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
11-04 3599
Hive新建表，默认是text格式 > CREATE EXTERNAL TABLE foo2 ( > columnA string, > columnB string > ) PARTITIONED BY (dt string) > ROW FORMAT DELIMITED > FIELDS TERMINATED BY "\t" ; OK Time taken: 0.599 seconds hive&gt.
Hive中文件存储格式（text,orc,parquet）
mx13156的博客
08-30 1948
hive中表的存储格式，不仅支持text文本格式，还支持其他很多格式。hive在建表的时候通过stored as 指定格式，如果没有指定格式就默认为textfile格式。hive默认的查询引擎是MapReduce，因此通常说的hive压缩是MapReduce压缩。数据存储效率极高，用于查询方便。map输出端，减少shuffle的数据量，提高shuffle时网络io的效率。当然压缩会带来一些弊端，浪费时间，消耗CPU，内存，某些优秀的压缩算法需要钱。reduce端，减少文件的大小，降低磁盘的存储空间。...
在Hive中‘InputFormat，OutputFormat‘和‘Stored as‘之间有什么区别？
m0_48830183的博客
09-24 2687
Hive有很多关于如何存储数据的选项。您可以使用外部存储，其中Hive只是从其他地方包装一些数据，或者您可以从hive仓库中的start开始创建独立表。输入和输出格式允许您指定这两种类型的表的原始数据结构或如何物理存储数据。从客户端开始，您将使用sql继续使用表，但在低级别，它可以是文本文件或序列文件或hbase表或其他一些数据结构。 InputFormat和OutputFormat - 允许您描述原始数据结构，以便Hive可以正确地将其映射到表视图 SerDe - 表示从表视图到低级输入输出格式结构执
Hive的TextFile、SequenceFile、RCfile 、ORCfile等压缩格式的区别
炼数成器
12-31 3009
TextFile: 默认格式，数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2使用，但使用Gzip这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。 SequenceFile: SequenceFile是Hadoop API 提供的一种二进制文件，它将数据以<key,value>的形式序列化到文件中。这种二进制文件内部使用Hadoop 的标准的Wr...
Sqoop导入文件格式对比Text、Parquet、Avro、Sequence
刘李404not_found的博客
09-05 1081
一、速度 Text 19/09/05 16:47:35 INFO mapreduce.ImportJobBase: Transferred 242.2289 MB in 21.3893 seconds (11.3248 MB/sec) Parquet 19/09/05 16:53:09 INFO mapreduce.ImportJobBase: Transferred 77.1938 MB in...
Hive常用输入和压缩建表语句
L, there!
09-05 2612
Text普通文本 create table `cp_api_log`(`line` string) partitioned by (`date` string) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile -- 或 stored as 直接指定输入输出格...
TextFile转为SequenceFile
05-05
业务需要hive读取SequenceFile文件，所以把TextFile类型转SequenceFile，再导入hive
sqoop从mysql中导入数据到parquet格式的hive中
07-07
sqoop导入数据到hive
hive2.1.1中orc格式读取报数组越界错误解决方法
05-24
hive2.1.1orc格式读取报数组越界错误，替换jar包。hive-exec-2.1.1-cdh6.3.2.jar、hive-orc-2.1.1-cdh6.3.2.jar。分发各个服务器即可。
Hive中的四种排序方式（order by,sort by,distribute by,cluster by）使用与区别详解
热门推荐
weixin_43230682的博客
07-14 1万+
在平时的Hive数仓开发工作中经常会用到排序，而Hive中支持的排序方式有四种，这里结合具体的案例详细介绍一下他们的使用与区别： order by sort by distribute by cluster by 一、order by（全局排序） 1、作用：全局排序，只有一个reducer。 order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序），也正因为只有一个reducer，所以当输入的数据规模较大时会导致计算时间较长。 　　set hive.mapr
Failure to find xxx in https://repo.maven.apache.org/maven2
weixin_43230682的博客
07-02 1万+
记录之前在使用idea编写Hive数仓UDF函数时遇到的一个问题，UDF函数编写完成之后测试运行没有问题，但是在打包的时候报错： Failure to find org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde in https://repo.maven.apache.org/maven2 was cached in the local repository, resolution will not be reattempted until
Hive中的静态分区和动态分区使用与区别详解
weixin_43230682的博客
07-08 9892
Hive中支持的分区类型有两种： 静态分区（static partition） 动态分区（dynamic partition） 两者的区别： 主要在于静态分区需要手动指定，而动态分区是基于查询参数的位置去推断分区的名称，从而建立分区。总的来说就是，静态分区的列是在编译时期通过用户传递来决定的；动态分区只有在SQL执行时才能确定。 下面举例详细说明： 一、静态分区（static partition） 1、静态分区-单分区 1）创建静态分区表t1并向表中导入test.txt文件中的测试数据 create t
一张图轻松搞懂Hive中的join（内连接、左外连接、右外连接、满外连接）
weixin_43230682的博客
08-19 7726
join语句 1 等值 join Hive支持通常的SQL JOIN语句，但是只支持等值连接，==不支持非等值连接==。 案例实操 select * from stu left join score on stu.id = score.s_id; 根据学生和成绩表，查询学生姓名对应的成绩 2 表的别名 好处 使用别名可以简化查询。 使用表名前缀可以提高执行效率。 案例实操：合并老师与课程表 -- hive当中创建course表并加载数据 create table ..
Hive数据仓库之全量表、增量表、快照表、切片表和拉链表
weixin_43230682的博客
07-03 7088
待整理实现！ https://blog.csdn.net/mtj66/article/details/78019370?
Hive中的lateral view 、explode、reflect、行转列、列转行、窗口函数与分析函数使用与区别详解
weixin_43230682的博客
08-19 6258
目录 一、使用explode函数将hive表中的Map和Array字段数据进行拆分 二、使用explode函数拆分json字符串数据 三、配合LATERAL VIEW使用 四、列转行 五、行转列 六、reflect函数 七、窗口函数与分析函数 1、创建hive表并加载数据 2、窗口函数 3、OVER从句 4、分析函数 5、增强的聚合Cube和Grouping和Rollup 6、使用cube和ROLLUP根据GROUP BY的维度的所有组合进行聚合。 一、使用explode函...
hive文件格式ORC和Parquet适用条件
最新发布
07-12
ORC和Parquet是两种常见的列式存储文件格式，它们在不同的情况下具有适用条件。 ORC文件格式适用条件： - 处理大规模数据：ORC文件格式在处理大规模数据时表现出色。它使用列式存储和压缩技术，可以减少I/O操作和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值