Hive文件存储格式选择

最新推荐文章于 2024-06-27 14:22:30 发布
最新推荐文章于 2024-06-27 14:22:30 发布
阅读量303 收藏 1
点赞数
分类专栏： Hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zc19921215/article/details/118054875
版权
本文通过测试展示了Hive中Text、ORC和Parquet三种文件格式在大数据处理中的性能差异。测试结果显示，Text格式在大数据量写入时速度最快，ORC在磁盘空间使用上最节省，而Parquet则在多数场景下提供良好的平衡。因此，如果追求写入速度，可以选择Text；在意存储效率，推荐ORC；对于一般场景，Parquet是理想选择。
摘要由CSDN通过智能技术生成

    Hive文件存储有多种格式选择，TEXT/ORC/Parquet等等，当前提到的这三种比较常用，专门测试了下性能，看看文件格式分别适用哪些场景。测试结果如下：

TEXT:
4.7G0.8min
3.4G1min
3.3G1.25min
Parquet:
1.8G2.5min
1.5G3min
1.4G2.4min
ORC:
0.93G4.3min
0.66G4.5min
0.85G5.4min

所以咨询大佬和测试之后，本人得出的结论就是:

    如果追求的大数据量下的快速写入，选择Text。

    如果追求的是磁盘空间使用最少，选择ORC。

    其他情况，无脑Parquet！

淡定一生2333
关注
专栏目录
Hive文件格式
九师兄
10-18 1401
hive文件存储格式包括以下几类： TEXTFILE SEQUENCEFILE RCFILE ORCFILE(0.11以后出现) 其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理； SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中， 然后再从表中用i...
hive 修改表的存储格式_Hive表的文件存储格式详解和相关性能分析
weixin_29847829的博客
12-23 910
hive文件存储格式和创建语句hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接从本地文件导入数据，数据要先导入到textfile...
Hive 的文件存储格式怎么选择？
热门推荐
Shockang的博客
06-20 3万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 说明 Hive支持的存储数的格式常见的有： TEXTFILE 、 SEQUENCEFILE 、 ORC 、 PARQUET 。 其中 TEXTFILE 为默认格式，建表时默认为这个格式，导入数据时会直接把数据文件拷贝到 hdfs 上不进行处理。 SEQUENCEFILE 、 ORC 、 PARQUE
Hive-存储-文件格式
最新发布
lu070828的博客
06-27 1336
数据存储是Hive的基础，选择合适的底层数据存储格式，可以在不改变Hql的前提下得到大的性能提升。类似mysql选择适合场景的存储引擎。Hive支持的存储格式有其中，ORCFile和Apache Parquet，以其高效的数据存储和数据处理性能得以在实际的生产环境中大量运用。创建表时可以使用说明Serializer/Deserializer 序列化和反序列化的类型。
hive文件存储格式
achun2050的专栏
08-22 854
hive在建表是，可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式 例如： > CREATE EXTERNAL TABLE MYTEST(num INT, name STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' > STORED AS TEXTFILE > LOCATION '/data/test';
Hive 文件格式
weixin_33743661的博客
07-18 62
hive文件存储格式包括以下几类： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理； SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中， 然后...
【Hive六】Hive调优小结
weixin_33695450的博客
05-31 248
Hive调优 Hive调优 Fetch抓取 本地模式 表的优化 小表、大表Join 大表Join大表 MapJoin Group By Count(Distinct) 去重统计 行列过滤 动态分区调整 案例实操 数据倾斜 Map数 小文件进行合并 复杂文件增加Map数 Reduce数 并行执行 严格模式 JVM重用 推测执行 执行计划（Explain） Fetch抓取 Fet...
hive文件存储格式对比实验测试数据
08-25
hive测试数据，其中为日志类型，用于验证在hive中主流文件存储格式对比实验
hive 修改表的存储格式_hive表存储格式及压缩
weixin_42228776的博客
12-23 2179
1.textfileHive数据表的默认格式，磁盘开销大，数据解析开销大存储方式：行存储压缩方式：使用Gzip,Bzip2等压缩算法压缩，压缩后的文件不支持split但在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍。--创建数据表：create table if not exists textfile_table(site strin...
数仓工具hive(四)：Hive文件存储格式以及优缺点
weixin_41607366的博客
05-18 1862
前言 Hive支持的存储数的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。 行与列存储的特点 行存储的特点 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。 列存储的特点 因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。 Hive文件存储格式以及优缺
hive文件格式
weixin_37796929的博客
07-06 194
1TextFile每一行都是一条记录，每行都以换行符（\ n）结尾。数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2使用（系统自动检查，执行查询时自动解压），但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。 2SequenceFile是Hadoop API提供的一种二进制文件支持，其具有使用方便、可分割、可压缩的特点。支持三种压缩选择：NONE, R...
Hive文件格式（一）
Little Coal的博客
04-22 694
AvroSerDe AvroSerde文件格式可在 Hive 0.9.1 和更高版本中使用。 概述–从Hive与Avro的合作 AvroSerde允许用户以Hive表的形式读取或写入Avro数据。 AvroSerde的要点： 从Avro架构推断Hive表的架构。从Hive 0.14开始，可以从Hive表模式中推断Avro模式。 利用Avro的向后兼容性功能，根据指定的架构读取表中的所有Avro文...
Hive 存储文件格式
leveretz的博客
06-22 520
原文地址：https://blog.csdn.net/yangshaojun1992/article/details/85124287 hive文件存储格式包括以下几类： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 5、PARQUET 其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；SEQUENCEFILE，RCFILE，ORCFILE,PARQUET格式的表不能
Hive 文件存储格式
m0_57479841的博客
12-06 654
方便HDFS进行读取更加高效，HDFS的block块设置为256MB，256MB就会对应一个切片，就对应一个map task线程进行处理，一个线程就可以把一个stripe里面的数据进行读取。这种文件格式可以提供一种高效的方法存储Hive数据，其设计目标是用于克服Hive其他格式的缺陷，运用ORC File可以提高Hive的读、写、及处理数据的性能。: 按行存储，不支持块压缩，默认格式，不支持压缩，磁盘开销大，加载数据的速度最高。(包含键值对的二进制的文件存储格式，支持压缩，可以节省存储空间)
Hive ---- 文件格式和压缩
是微风，是晚霞，是无可替代
05-30 3212
为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端设置压缩。
hive 文件存储格式
2301_76522810的博客
05-14 323
除了文件中每一个行组的元数据，每一 页的开始都会存储该页的元数据，在 Parquet 中，有三种类型的页：数据页、字典页和索引。上图展示了一个 Parquet 文件的内容，一个文件中可以存储多个行组，文件的首位都是 该文件的 Magic Code，用于校验它是否是一个 Parquet 文件，Footer length 记录了文件元数。数据页用于存储当前行组中该列的值，字典页存储该列值的编码字典，每一个列块中最 多包含一个字典页，索引页用来存储当前行组下该列的索引，目前 Parquet 中还不支持索引 页。
hive的数据存储格式
weixin_30551963的博客
06-19 185
hive的数据存储格式 Hive支持的存储数的格式主要有：TEXTFILE（行式存储）、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。 1 列式存储和行式存储 上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。 行存储的特点：查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到...
hive优化之存储格式的选择
09-22
在Hive中，选择合适的存储格式对于查询性能和数据存储优化非常重要。 Hive支持多种存储格式，包括文本格式、序列文件格式、ORC格式和Parquet格式等。不同的存储格式对于数据的存储效率、压缩率和查询性能都有一定...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值