一文搞懂Hive的数据存储与压缩

最新推荐文章于 2024-01-16 17:56:56 发布
最新推荐文章于 2024-01-16 17:56:56 发布
阅读量440 收藏 3
点赞数 1
分类专栏： # Hive 文章标签： hive 数据库 big data hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ddxygq/article/details/120383845
版权
本文详细探讨了Hive中的数据存储方式，包括行存储与列存储的特点及适用场景，列出了Hive支持的多种数据格式，如TextFile、SequenceFile、RCFile、ORCFile和Parquet，并对比了它们的优缺点。文章还介绍了Hive的压缩机制，包括中间数据压缩和最终输出结果压缩，以及可选的压缩格式。测试部分展示了不同存储格式在存储空间和查询效率上的表现，强调了压缩对性能和存储空间的影响。最后，文章总结了行式存储和列式存储的选择，以及Hive压缩在提升查询性能和节省存储空间方面的重要性。
摘要由CSDN通过智能技术生成


文章目录

行存储与列存储

  • 当今的数据处理大致可分为两大类，联机事务处理 OLTP(on-line transaction processing)联机分析处理 OLAP(On-Line Analytical Processing)=，OLTP 是传统关系型数据库的主要应用来执行一些基本的、日常的事务处理比如数据库记录的增、删、改、查等等而OLAP则是分布式数据库的主要应用它对实时性要求不高，但处理的数据量大通常应用于复杂的动态报表系统上

所以一般OLTP 都是使用行式存储的，因为实时性要求高，而且有大量的更新操作，OLAP 都是使用列式存储的，因为实时性要求不高，主要是要求性能好

行存储的特点

  • 查询满足条件的一整行数据的时，只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。
  • 传统的关系型数据库，如 Oracle、DB2、MySQL、SQL SERVER 等
了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据技术派
关注
专栏目录
订阅专栏
【clickhouse】clickhouse的系统表
九师兄
12-04 3530
1.概述 转载：clickhouse的系统表 在日常使用clickhouse中经常会遇到很多问题，有时候需要去查系统表，但是对于我们来说，大部分的系统表的字段名称都不知道，看到了也不知道啥意思，下面我就整理一下clickhouse系统表的字段注释。 2.系统表 系统表用于实现系统的部分功能，并提供对有关系统如何工作的信息的访问。 不能删除系统表(但可以执行DETACH)。 系统表在磁盘上没有数据或元数据的文件。服务器在启动时创建所有系统表。 系统表是只读的。 它们位于 ‘system’ 数据库中。 2.1.
hive的存储格式及压缩
qq_37283909的博客
04-16 628
行式存储与列式存储 行式存储 特点： 保证一条记录里面的所有字段能够存放在同一个hdfs的block里 优点： 当查询所有(select * from tbname)时，能直接查询出来 缺点： 不同列的字段类型不同，压缩性能差，空间利用率差 只查询某几列数据的时候，必须先把所有数据读取进来，在提取所需的几列，结果会增加磁盘IO，效率低 列式存储 优点： 每一列的数据类型是一样的，所有可以采用一定...
Hive（数据仓库）数据压缩、数据存储格式
cpz
09-02 1052
7.hive的数据压缩 在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽 **7.1 **MR支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 DEFAULT 无 DEFAULT .deflate 否 Gzip gzip ...
Hive数据压缩和存储格式
蔡政洁的博客
10-26 633
目录一、了解Hive的数据压缩二、Hive数据压缩的配置三、文件存储格式四、测试不同的文件格式（1）TextFile 格式（2）ORC格式（1）ORC（2）ORC+Snappy（3）Parquet（1）Parquet（2）Parquet+Snappy 一、了解Hive的数据压缩 hive 的数据压缩 == MR的数据压缩 1.在哪个阶段进行数据压缩 MR阶段过程： input -> map -> shuffle -> reduce -> output shuff
hive常见的几种文件存储格式与压缩方式的结合
weixin_41303204的博客
11-29 845
一.使用Parquet存储数据 数据使用列存储之前是普通的行存储，下面是行存储的的文件大小，这个HDFS上的数据 使用parquet列存储，可以将文件的大小减小化。下面具体讲parquet存储数据的代码以及加载数据的格式。 数据库代码： create table if not exists db_yhd.track_log_parquet( id STRING, url...
HIVE存储和压缩
zhangyuhang88的博客
08-01 276
HIVE存储和压缩
Hive 之 压缩和存储
恋梦轩
04-12 519
记录了Hive工具中的压缩与存储的相关知识。
Hive中实现数据抽样的三种方法（数据块抽样、分桶抽样、随机抽样）使用与区别详解
weixin_43230682的博客
07-15 5414
前言 当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。 Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，下面结合具体例子分别学习。 准备工作 （1）新建测试用表：employInfo create table employInfo(deptID int,employID int,employNam
Hive调优一文打尽
最新发布
跟着大数据和AI去旅行
01-16 186
Hive调优一文打尽
Hive优化实战经验 | 一文总结完
石榴姐yyds
12-29 1258
目录 1 表层面 1.1 利用分区表优化 1.2 利用分桶表优化 1.3 选择合适的文件存储格式 1.4 选择合适的压缩格式 2 HQL层面优化 2.1 执行计划 2.1 列、行、分区裁剪 2.2 谓词下推 2.3 合并小文件 2.4 合理设置MapTask并行度 2.5 合理设置ReduceTask并行度 2.6 Join优化 2.7 CBO优化 2.8 Group By优化 2.9 Order By优化 2.10 Count Distinct 优化 2.11 怎样写i
一文即懂clickhouse & 百亿级别实战
写轮眼之大数据
05-12 4514
要是想见，给我打个电话就行。 人和人谈不上义务性地见面，想见就见，想见才见。 —— 村上春树 一、背景 ClickHouse是近年来备受关注的开源列式数据库，主要用于数据分析（OLAP）领域。目前国内社区火热，各个大厂纷纷跟进大规模使用： 今日头条 内部用ClickHouse来做用户行为分析，内部一共几千个ClickHouse节点，单集群最大1200节点，总数据量几十PB，日增原始数据300TB左右。 腾讯内部用ClickHouse做游戏数据分析，并且为之建立了一整套监控运维体系。 携程内部从18年7月份
【ClickHouse】查看数据库容量和表大小的方法（system.parts各种操作方法）
J小白的博客
05-15 1万+
clickhouse有system.parts系统表记录表相关元数据，可以通过该表对clickhouse上所有表进行查询表大小、行数等操作。 1.查看数据库容量 select sum(rows) as row,--总行数 formatReadableSize(sum(data_uncompressed_bytes)) as ysq,--原始大小 formatReadableSize(sum(data_compressed_bytes)) as ysh,--压缩大...
clickhouse中如何查询分区表分区及表容量查询
热门推荐
qq_41018861的博客
04-26 2万+
clickhouse中如何查询分区表分区及表容量–这个问题相信大家在使用clickhouse分区表时都会经常遇到，其实clickhouse表的元数据信息都存储在system.parts表中，可以通过该表对clickhouse上所有表进行查询表容量大小、行数、压缩率及分区信息等进行查询了解。 1. system.parts表schema解析 system.parts表schema说明如下： `partition`（String）-- 分区名称。 `name`（String）-- 数据部分的名称。 `part_
ClickHouse 的系统表
jinjie_boke的博客
03-17 1138
楔子 我们知道 ClickHouse 自带两个库，分别是 default 和 system，default 是默认的数据库，我们创建表的时候如果不指定库名，那么默认会在 default 下创建。而 system 则是系统库，里面存放了大量与系统相关的表，通过这些系统表我们可以查看服务器的所有状态信息。 use system; show tables; 总共有 69 个系统表，通过这些系统表，我们可以牢牢把控 ClickHouse 服务端的运行状态。下面来看看就来挑几个介绍一下。 system.asyn.
ClickHouse压缩率
一条大河
03-26 3735
ClickHouse压缩和压缩算法有关，也和表结构相关； CH压缩算法： CH支持LZ4和ZSTD 两种压缩算法，LZ4在速度上会更快，但是压缩率较低，ZSTD正好相反。尽管ZSTD比LZ4慢，但是相比传统的压缩方式Zlib，无论是在压缩效率还是速度上，都可以作为Zlib的替代品。 详情参考：https://www.percona.com/blog/2016/04/13/evaluating-database-compression-methods-update/ 查看本机压缩算法： ...
clickhouse查看空间占用 和 postgresql查看空间占用情况
kangseung的博客
08-27 2363
SELECT database, table, formatReadableSize(size) AS size, formatReadableSize(bytes_on_disk) AS bytes_on_disk, formatReadableSize(data_uncompressed_bytes) AS data_uncompressed_bytes, formatReadableSize(data_compressed_bytes) AS data_compressed_bytes, compr.
每天新老用户，日活，周活，月活的hive计算
大数据技术派
08-03 2万+
最近有一个需求，统计新老用户，日活，周活，月活；这里日活，当然了周活，月活就是一个count(distinct(guid))语句。 #!/usr/bin/python # -*- coding:utf-8 -*- # hive更新历史用户表，日常查询，保存到MySQL import sys import datetime import commands import MySQLdb #...
Hive数据存储与处理解析
- **TextFile**：这是Hive的默认格式，数据以文本形式存储，列与列之间由用户定义的列分隔符分隔，行与行之间由换行符分隔。 - **SequenceFile**：这是一种二进制文件格式，适用于存储大量小文件，提高HDFS的读写...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值