hive的六种存储格式

已于 2022-04-21 11:10:02 修改
阅读量1.3k 收藏
点赞数
文章标签： hive
于 2022-04-18 12:40:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuyq78/article/details/124246671
版权

AVRO、ORC、PARQUET、RCFILE、SEQUENCEFILE、TEXTFFILE

（avro、orc、parquet、rcfile、sequencefile、textfile）

语法标准语法
STORED AS AVRO / STORED AS AVROFILEROW FORMAT SERDE ‘org.apache.hadoop.hive.serde2.avro.AvroSerDe’ STORED AS INPUTFORMAT ‘org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat’ OUTPUTFORMAT ‘org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat’
STORED AS ORC / STORED AS ORCFILEROW FORMAT SERDE ‘org.apache.hadoop.hive.ql.io.orc.OrcSerde’ STORED AS INPUTFORMAT ‘org.apache.hadoop.hive.ql.io.orc.OrcInputFormat’ OUTPUTFORMAT ‘org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat’
STORED AS PARQUET / STORED AS PARQUETFILEROW FORMAT SERDE ‘org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe’ STORED AS INPUTFORMAT ‘org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat’ OUTPUTFORMAT ‘org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat’
STORED AS RCFILESTORED AS INPUTFORMAT ‘org.apache.hadoop.hive.ql.io.RCFileInputFormat’ OUTPUTFORMAT ‘org.apache.hadoop.hive.ql.io.RCFileOutputFormat’
STORED AS SEQUENCEFILESTORED AS INPUTFORMAT ‘org.apache.hadoop.mapred.SequenceFileInputFormat’ OUTPUTFORMAT ‘org.apache.hadoop.mapred.SequenceFileOutputFormat’
STORED AS TEXTFILESTORED AS INPUTFORMAT ‘org.apache.hadoop.mapred.TextInputFormat’ OUTPUTFORMAT ‘org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat’

参考链接：https://cloud.tencent.com/developer/article/1818590

liuyq78
关注
hive 修改表的存储格式_hive表存储格式及压缩
weixin_42228776的博客
12-23 2224
1.textfileHive数据表的默认格式，磁盘开销大，数据解析开销大存储方式：行存储压缩方式：使用Gzip,Bzip2等压缩算法压缩，压缩后的文件不支持split但在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍。--创建数据表：create table if not exists textfile_table(site strin...
hive 修改表的存储格式_Hive表的文件存储格式详解和相关性能分析
weixin_29847829的博客
12-23 939
hive文件存储格式和创建语句hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接从本地文件导入数据，数据要先导入到textfile...
Hive 六种存储格式
星辰大数据的博客
03-02 1593
Hive六种存储格式： AVRO、ORC、PARQUET、RCFILE、SEQUENCEFILE、TEXTFFILE （avro、orc、parquet、rcfile、sequencefile、textfile） 简写语法 标准语法 STORED AS AVRO / STORED AS AVROFILE ROW ...
Hive的存储格式
weixin_43322583的博客
08-30 1235
Hive支持的存储数的格式主要有：TEXTFILE(默认格式) 、SEQUENCEFILE、RCFILE、ORCFILE、PARQUET。textfile为默认格式，建表时没有指定文件格式，则使用TEXTFILE，导入数据时会直接把数据文件拷贝到hdfs上不进行处理;sequencefile，rcfile，orcfile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中，然后再从表中用insert导入sequencefile、 rcfile、orcfile表中。
Hive 文件存储格式
m0_57479841的博客
12-06 779
方便HDFS进行读取更加高效，HDFS的block块设置为256MB，256MB就会对应一个切片，就对应一个map task线程进行处理，一个线程就可以把一个stripe里面的数据进行读取。这种文件格式可以提供一种高效的方法存储Hive数据，其设计目标是用于克服Hive其他格式的缺陷，运用ORC File可以提高Hive的读、写、及处理数据的性能。: 按行存储，不支持块压缩，默认格式，不支持压缩，磁盘开销大，加载数据的速度最高。(包含键值对的二进制的文件存储格式，支持压缩，可以节省存储空间)
Hive数据存储格式
凉茶铺的博客
10-16 3859
Hive支持的存储数的格式主要有：TEXTFILE（默认格式） 、SEQUENCEFILE、RCFILE、ORCFILE、PARQUET。
hive的数据存储格式
依旧的博客
12-05 3940
Hive支持的存储数据的格式主要有：TEXTFILE（行式存储）、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。 一、列式存储和行式存储 上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。 行存储的特点：查询满足条件的一整行数据的时候，行存储只需要找到其中一个值，其余的值都在相邻地方。列存储则需要去每个聚集的字段找到对应的每个列的...
hive 修改表的存储格式_Hive存储格式
weixin_42395669的博客
12-23 1308
转载自： https://www.2cto.com/database/201704/633287.htmlHive的数据分为表数据和元数据，表数据是Hive中表格(table)具有的数据;而元数据是用来存储表的名字，表的列和分区及其属性，表的属性(是否为外部表等)，表的数据所在目录等。下面分别来介绍。一、Hive的数据存储在让你真正明白什么是hive 博文中我们提到Hive是基于Hadoop分布式...
Hive的数据存储格式
11-28 7952
Hive支持的存储数据的格式主要有： Hive支持的存储数据的格式主要有 存储形式 TEXTFILE 行式存储 SEQUENCEFILE 行式存储 ORC 列式存储 PARQUET 列式存储 列式存储和行式存储 行存储的特点： 查询满足条件的一整行数据的时候，行存储只需要找到其中一个值，其余的值都在相邻地方。列存储则需要去每个聚集的字段找到对应的每个列的值，所以此...
Hive几种存储格式总结
chengyuan2789的博客
07-09 897
hive文件存储格式 1.textfile textfile为默认格式 存储方式：行存储 磁盘开销大 数据解析开销大 压缩的text文件 hive无法进行合并和拆分 2.sequencefile 二进制文件,以<key,value>的形式序列化到文件中 存储方式：行存储 可分割 ...
Hive中几种存储格式特点总结
weixin_42401666的博客
08-06 1283
1、TextFile 存储方式：行存储。默认格式，如果建表时不指定默认为此格式。 每一行都是一条记录，每行都以换行符"\n"结尾。数据不做压缩时，磁盘会开销比较大，数据解析开销也比较大。 可结合Gzip、Bzip2等压缩方式一起使用（系统会自动检查，查询时会自动解压）,推荐选用可切分的压缩算法。 2、Sequence File 一种Hadoop API提供的二进制文件，使用方便、可分割、个压缩的特点。 支持三种压缩选择：NONE、RECORD、BLOCK。RECORD压缩率低，一般建议使
hive修改表名、修改列名、修改分区
weixin_49114503的博客
11-12 411
hive修改表名、修改列名、修改分区
hive中windows子句的使用
最新发布
weixin_52642840的博客
11-12 304
hive中window子句的使用
如何判断 Hive 表是内部表还是外部表
一个8年大数据开发工程师的碎碎念
11-09 706
在使用 Apache Hive 进行大数据处理时，理解表的类型（内部表或外部表）对于数据管理和维护至关重要。当删除内部表时，Hive 会删除元数据和存储在 Hive 仓库中的数据文件。：Hive 仅管理表的元数据，数据文件由用户自行管理。了解表的类型对于数据的生命周期管理非常重要，特别是在删除表时，可能会影响到数据的存储。了解表的类型有助于避免意外的数据丢失，并有助于制定合理的数据管理策略。：对于重要的数据，无论是内部表还是外部表，建议定期备份。：在删除表之前，务必确认表的类型，避免误删重要数据。
Hadoop + Hive + Apache Ranger 源码编译记录
三劫散仙
11-12 450
由于 CDH（Cloudera's Distribution Hadoop ）近几年已经开始收费并限制节点数量和版本升级，最近使用开源的 hadoop 搭了一套测试集群，其中的权限管理组件用到了Apache Ranger，所以记录一下编译打包过程。
filerchain是什么类
qq_43518966的博客
11-12 325
接口定义在接口用于管理过滤器链，确保请求和响应在传递过程中经过一系列过滤器的处理。每个过滤器通过调用方法将请求传递给下一个过滤器或目标资源，从而实现请求的预处理和后处理。这种方式使得代码更加模块化和可维护，适用于各种复杂的Web应用需求。希望这能帮助你更好地理解的作用。如果你有其他问题，欢迎继续提问。
hive表名重命名、rename重命名
weixin_49114503的博客
11-12 166
hive表名重命名、rename重命名
hive alter table add columns 是否使用 cascade 的方案
houzhizhen的专栏
11-12 512
时加上 cascade 时，会把所有的分区都加上此字段。如果不加则只有新的分区会加上此字段，旧的分区没有此字段，即便数据文件里有对应的数据，也不能显示内容。注：判断表是否是外部表，使用 ‘show create table xxx’, 如果生成的是 ‘CREATE TABLE’ 是内部表，如果是是外部表。
hive优化之存储格式的选择
09-22
Hive是一种用于在大数据环境中进行查询和分析的开源数据仓库解决方案。在Hive中，选择合适的存储格式对于查询性能和数据存储优化非常重要。 Hive支持多种存储格式，包括文本格式、序列文件格式、ORC格式和Parquet格式等。不同的存储格式对于数据的存储效率、压缩率和查询性能都有一定影响。 首先，文本格式是最基本的存储格式，它简单易用，但是不适合大规模数据存储和查询，因为它没有压缩和索引功能，查询性能会受到限制。 其次，序列文件格式是Hadoop默认的文件格式，它支持压缩和可切分，能够提高存储空间利用率和查询性能。 ORC（Optimized Rowe Columnar）格式是一种基于列式存储的高效存储格式，它能够提供更好的压缩比和查询性能，尤其适用于大规模数据仓库中的分析查询工作负载。 最后，Parquet格式也是一种列式存储格式，它具有更好的查询性能和压缩比，支持高级查询和分析操作。 在选择存储格式时，需要综合考虑数据类型、数据量、查询性能和存储空间等因素。如果数据量较小，可以选择文本格式或序列文件格式；对于大规模数据存储和分析场景，推荐选择ORC或Parquet格式。 此外，可以通过调整Hive的配置参数来进一步优化存储格式的选择，如选择适当的压缩算法、压缩级别和数据切分方式等。通过合理选择和配置存储格式，可以提高Hive查询性能、降低存储成本，并获得更好的用户体验。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值