Hive ORC file实践与优势

最新推荐文章于 2022-12-07 21:56:53 发布
最新推荐文章于 2022-12-07 21:56:53 发布
阅读量1.1k 收藏
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25954159/article/details/53809822
版权

orc file是oc file的进化版。    

1.压缩空间会大大减少。    4-7G  ===》  100M--500M之间

2.查询速度。   1.4T    229s /23s

配置15个节点，yarn的内存是839G，内核是840个内存


** stored as orc

hunter127
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive 的 ORC、Parquet 等列式存储的优点
想练武，就得下功夫
08-12 598
ORC: ORC 文件是自描述的，它的元数据使用 Protocol Buffers 序列化，文件中的数据尽可能的压缩以降低存储空间的消耗；以二进制方式存储，不可以直接读取；自解析，包含许多元数据，这些元数据都是同构 ProtoBuffer 进行序列化的；会尽可能合并多个离散的区间尽可能的减少 I/O次数；在新版本的 ORC 中也加入了对 Bloom Filter 的支持，它可以进一 步提升谓词下推的效率，在 Hive 1.2.0 版本以后也加入了对此的支 持。 Parquet: Parquet 支持嵌套的数
ORC文件存储格式的深入探究
微信搜：import_bigdata，大数据领域硬核原创作者
01-13 966
因为生病，另外还在做牙齿的根管治疗，痛不欲生，短更一篇。年前都在梳理《大数据成神之路》的目录还有内容，另外Flink的公开课程也在规划大纲和目录。不知道我在说什么，看一下这里《2020年...
ORC格式文件
yelangjdjjsjeh的博客
09-27 4145
ORC文件 一、ORC储存格式 ORC的全称是(Optimized Record Columnar)，优化后的列式记录，ORC在RCFile的基础上进行了一定的改进，所以与RCFile相比，具有以下一些优势： ORC中的特定的序列化与反序列化操作可以使ORC file writer根据数据类型进行写出。 提供了多种RCFile中没有的indexes，这些indexes可以使ORC的reader很快的读到需要的数据，并且跳过无用数据，这使得ORC文件中的数据可以很快的得到访问。 由于ORC file wri
ORC、Parquet等列式存储的优点
longzorg_cn的博客
12-07 591
ORC和Parquet都是高性能的存储方式，这两种存储格式总会带来存储和性能上的提升。**1.Parquet**（1）Parquet支持嵌套的数据模型，类似于Protocol Buffers，每一个数据模型的schema包含多个字段，每一个字段有三个属性：重复次数、数据类型和字段名，重复次数可以是以下三种：required(只出现1次)，repeated(出现0次或多次)，optional(出现0次或1次)。每一个字段的数据类型可以分成两种： group(复杂类型)和primitive(基本类型)。（2）P
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二）
05-29
与ORCFile相比，ParquetFile在某些场景下可能更优，因为它对不同类型的查询有着更好的性能表现。 在Hive和Impala中，查询性能的比较通常包括几种常见查询类型，如计算总数、按特定条件过滤和时间区间查询等。从文中...
cdh-hive2.1.1版本orc格式表读取包数组越界替换包
05-18
cdh-hive2.1.1版本orc文件读取数据报错替换包: ... at org.apache.hadoop.hive.ql.io.orc.OrcFile.createReader(OrcFile.java:89) at org.apache.hadoop.hive.ql.io.orc.VectorizedOrcInputFormat.getRecord
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一）
05-29
本文通过亿级数据量在Hive和Impala中对比了text、orc和parquet这三种不同的文件格式，以分析它们的性能表现。 首先，让我们深入了解每种文件格式的特点： 1. **Parquet**： - 优点：Parquet采用了高效的压缩和...
hive的安装与配置.zip
最新发布
06-05
这可能涉及到Hive的分区、桶、存储格式（如TextFile、ORC、Parquet）以及JOIN、GROUP BY等操作的使用技巧。 总的来说，Hive是一个强大的大数据处理工具，它简化了对Hadoop数据的SQL查询，使得非编程背景的用户也能...
Hive大数据技术原理与实践.pptx
10-14
Hive 大数据技术原理与实践 Hive 是建立在 Hadoop 之上的数据仓库基础架构，提供了一系列工具，可以用来进行数据提取、转换、加载。这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 使用 ...
Hive语言手册之五：ORC文件格式
guoxy_nb的专栏
04-24 6380
 一、ORC文件格式 ORC File Format  ORC从Hive0.11开始引入。 Introduced in Hive version 0.11. ORC（Optimized Row Columnar）格式可以高效地存储Hive数据，被设计用来避免其他文件格式存在的缺陷，使用ORC文件可以提升Hive读、写与处理数据的性能。ORC文件格式有以下优点：
Hive-ORC文件存储格式
weixin_30279671的博客
05-31 743
　　ORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。本文接下来根据论文《Major Technical Advancements in Apache Hive》中的内容进行深入的研究。 一、ORC文件格式 　　ORC的全称是(Optimized Record Colum...
Presto【付诸实践 01】Presto查询性能优化（数据存储+SQL优化+无缝替换Hive表+注意事项）及9个实践问题分享
シ風
12-14 3395
Presto查询性能优化（数据存储+SQL优化+无缝替换Hive表+注意事项）及9个实践问题分享
hive中orc小文件优化
Mr.Zheng的博客
11-07 2131
小文件的缺陷我们就不说了，直接进入到正题. HIVE自动合并输出的小文件的主要优化手段为： set hive.merge.mapfiles = true：在只有map的作业结束时合并小文件， set hive.merge.mapredfiles = true：在Map-Reduce的任务结束时合并小文件，默认为False； set hive.merge.size.per.task = 256000000; 合并后每个文件的大小，默认256000000 set hive.merge.smallfiles.av
更高的压缩比，更好的性能–使用ORC文件格式优化Hive
weixin_34132768的博客
03-08 482
http://lxw1234.com/archives/2016/04/630.htm 关键字：orc、index、hive Hive从0.11版本开始提供了ORC的文件格式，ORC文件不仅仅是一种列式文件存储格式，最重要的是有着很高的压缩比，并且对于MapReduce来说是可切分（Split）的。因此，在Hive中使用ORC作为表的文件存储格式，不仅可以很大程度的节省HDFS存储资源，而且对数据...
hive--ORC、Parquet等列式存储的优点
qq_46893497的博客
03-07 2356
ORC、Parquet等列式存储的优点前言Parquet：ORC： 前言 ORC和Parquet都是高性能的存储方式，这两种存储格式总会带来存储和性能上的提升。 Parquet： 1）Parquet支持嵌套的数据模型，类似于Protocol Buffers，每一个数据模型的schema包含多个字段，每一个字段有三个属性：重复次数、数据类型和字段名，重复次数可以是以下三种：required(只出现1次)，repeated(出现0次或多次)，optional(出现0次或1次)。每一个字段的数据类型可以分
数仓工具hive(四)：Hive文件存储格式以及优缺点
weixin_41607366的博客
05-18 1827
前言 Hive支持的存储数的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。 行与列存储的特点 行存储的特点 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。 列存储的特点 因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。 Hive文件存储格式以及优缺
Hive TextFile、OrcFile存储格式以及相应压缩算法的测试
xiaoleilei666的博客
11-28 3031
一、存储格式介绍 TextFile ·存储格式：作为hive当中默认的存储格式 ·存储方式：行式存储 ·缺点：磁盘开销大，数据解析开销大。 ·用处：可结合Gzip、Bzip2使用(系统自 动检查，执行查询时自动解压)，但使用这种方式，压缩后的文件不支持split，Hive不会对数据进行切分，从而无法对数据进行并行操作。 SequenceFile ·格式支持：SequenceFile是Hadoop API提供的一种二进制文件支持 ·存储方式：行式存储 ·优点：其具有使用方便、可分割、 可压缩的特点 ·压缩选
大数据：Hive - ORC 文件存储格式
weixin_33810302的博客
10-16 2724
一、ORC File文件结构 　　ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。ORC文件是自描...
Hive 架构与性能优化
taochenibm2019的博客
08-21 1363
1.1概述1.1.1模块架构模型图4-1 Hive 架构 蜂巢模型架构   更新一张hive流程图:   --2018-11-07Hive 提供了Hadoop 的SQL 能力，主要参考标准的SQL ，Hive 进行了部分的修改，形成了自己的特有的SQL 语法HQL （Hive SQL ），更加适合于Hadoop 的分布式体系，该SQL 目前是Hadoop 体系的事实标准。蜂房的架构分为接入层：体...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值