HBase表数据的压缩率测试

最新推荐文章于 2024-01-23 02:35:24 发布
最新推荐文章于 2024-01-23 02:35:24 发布
阅读量2.4k 收藏 2
点赞数 2
分类专栏： HBase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ArivnXu/article/details/75270629
版权
测试结果：HBase压缩率可达1.82
数据来源：使用YCSB向usertable中注入1000万条1KB数据；创建3个空表ATable，BTable，CTable
测试方法：
（1）将HBase Cluster中的4个表数据导出到本地
（2）查看其存储空间（14.8GB）

（3）使用rar压缩后，查看其占用的存储空间（8.13GB）

注意：YCSB生成的数据是k-v数据，其中value为随即字符串

ArivnXu
关注
专栏目录
HBase（17）：表空间设计之数据压缩
u013938578的博客
07-02 776
在HBase可以使用多种压缩编码，包括LZO、SNAPPY、GZIP。只在硬盘压缩，内存中或者网络传输中没有压缩。通过以下输出可以看出，HBase创建表默认是没有指定压缩算法的。其中COMPRESSION => 'NONE'表示没有压缩算法。
HBase与MapReduce深度整合,轻松实现海量数据分析
最新发布
程序员光剑
05-28 518
HBase与MapReduce深度整合,轻松实现海量数据分析 作者：禅与计算机程序设计艺术 1. 背景介绍 随着大数据时代的到来,企业需要处理和分析的数据量呈爆炸式增长。传统的关系型数据库已经无法满足海量数据存储和实时查询分析的需求。HBase作为一
HBase的数据压缩与存储空间优化
程序员光剑
01-23 1082
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase的核心特点是提供低延迟、高可靠的数据存储和访问，适用于实时数据处理和分析场景。 数据压缩是HBase的一个重要特性，可以有效减少存储空间占用、提高I/O性能和降...
关于几种压缩算法以及hadoop和hbase中的压缩配置说明
热门推荐
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
01-06 2万+
Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy，其中lzo、snappy需要操作系统安装native库才可以支持 下面这张表，是比较官方一点的统计，不同的场合用不同的压缩算法。bzip2和GZIP是比较消耗CPU的，压缩比最高，GZIP不能被分块并行的处理；Snappy和LZO差不多，稍微胜出一点，cpu消耗的比GZIP少。 通常情况下，想在CPU和IO之间取得平衡的
hbase表格实现数据压缩
文武傲群雄，彳亍定江山
02-28 1001
压缩方式： 压缩方式 使用难易 snappy 需要手动安装snappy LZO 需要手动安装lzo NONE 自带，直接使用 GZ 自带，直接使用 LZ4 自带，直接使用 使用方法： 1、disable ‘table’ 2、更新表格命令 alter 'table', NAME => 'f1', COMPRESSION => 'snappy' alte...
HBase启用压缩
yang灬仔
11-01 1780
HBase启用压缩 HBase 创建表时默认压缩为 NONE ，即没有压缩，除非指定。 目前 HBase 主要支持 4 种压缩方式：GZ（GZIP），SNAPPY，LZO，LZ4。 1. 压缩算法的比较 算法 压缩比 压缩 解压 GZIP 13.4% 21MB/s 118MB/s LZO 20.5% 135MB/s 410...
Hbase设置Snappy压缩测试
08-12
标题中的“Hbase设置Snappy压缩测试”表明我们要探讨的是如何在HBase中配置Snappy压缩，这是一种常见的数据压缩技术，常用于提升大数据存储和处理的效率。Snappy以其较高的解压速度和较低的压缩率著称，尤其适用于...
HBase数据压缩与性能优化
HBase数据压缩的概述 ## 1.1 HBase数据压缩的背景和意义 在大数据存储和处理中，数据通常会占据大量的存储空间。HBase作为一种分布式列存储数据库，为了节省存储空间、提高数据读写性能，提出了数据压缩的概念。...
Hbase 建表高级属性及表设计
weixin_44387652的博客
03-18 1482
Hbase 建表高级属性及表设计1、建表高级属性1.1、BLOOMFILTER（布隆过滤）1.2、VERSIONS（版本）1.3、COMPRESSION（压缩）1.4、TTL（列簇数据存活时间戳）1.5、alter（修改）1.6、describe/desc1.7、disable_all/enable_all1.8、drop_all1.9、hbase 预分区2、表设计2.1、列簇设计2.2、RowKey 设计2.2.1、Rowkey 设计三原则2.2.1.1、rowkey 长度原则2.2.1.2、rowkey
HBase与MongoDB在海量数据处理中的性能对比
程序员光剑
08-10 643
2017年7月，MongoDB宣布了它的分布式文档数据库Atlas云服务，这标志着非关系型数据库进入了一个新的阶段——云时代。随后，Hbase也宣布了它首个公开版本，基于Apache基金会开发的开源分布式 NoSQL 数据库。然而，这两个数据库却引起了不小的争议，究竟哪一个更适合用来存储海量的数据？或许，对于刚刚接触到这两种数据库的读者来说，这种困惑可能并没有想象中那么简单。
HBase 不同压缩方式介绍
Focus on Lakehouse
07-23 4326
欢迎订阅微信公众号：大数据技术架构，更多大数据基础架构，原理与实践，社区动态等。 在使用 HBase 的时候，为了节省数据的空间占用，通常我们会为 HBase 设置压缩属性。与其他的表级别属性一样，压缩设置也是针对具体列族进行设置的。 HBase 创建表时默认压缩为 NONE ，即没有压缩，除非指定。目前 HBase 主要支持 4 种压缩方式：GZ（GZIP），SNAPPY，LZO...
hbase测试压缩效果报告
分布式应用与服务器架构专栏
11-20 8740
测试环境： Linux master 2.6.18-348.12.1.el5 #1 SMP Wed Jul 10 05:28:41 EDT 2013 x86_64 x86_64 x86_64 GNU/Linux hadoop-1.0.3 hbase-0.94.2 hive-0.9.0 Oracle JRockit(R) (build R28.1.5-20-146757-1.6.0_29-
Hbase表设置Snappy压缩格式
weixin_47099283的博客
07-19 442
在线设置Hbase表为Snappy格式方案可行，且对业务无影响。DR集群ActiveNamenode节点操作。Hbase数据可以得到百分之57左右的压缩。使用命令修改测试表压缩格式。修改Hbase表压缩格式。对测试表进行现存设置留存。
提升HBase写性能
Sabrina & Joshua Java Ivory Tower
02-16 301
最后更新于: 2013/7/1 --------------------------------------------------------------------------------------------------------------- 本文主要介绍软件层面的性能调优。故，在此之前，请检查硬件状况。硬盘推荐SSD，一般SATA即可。网络千兆以上。可以安装Ganglia等工...
hbase简介以及常用的命令和snappy压缩
lzlnd的博客
12-18 1951
简介：分布式数据库 mapreduce为hbase提供高性能的计算能力，zookeeper为hbase提供稳定的服务 client包含访问hbase的接口，维护了对应的cache来加速hbase的访问 zookeeper：做master的高可用，regionerver的监控，元数据的入口以及集群配置维护 Hmaster：为regionserver分配region，维护集群的负载均衡，维护集...
5种数据压缩算法实现和性能测试
luostudent的博客
03-15 1万+
snappy、lzo、lz4、gzip、deflate 5种压缩算法实现和性能比较
Hbase压缩之ZSTD
南风知我意
08-11 2450
Hbase压缩之ZSTD
hbase复习和压缩算法
u014156013的博客
07-31 699
问题：     存储在HDFS上的一个大文件有100T，怎么在实时的要求下，快速找出对应的record     实时的增删改查  hbase   根据key 查找value  底层二进制编码 序列化和反序列化     主键  列簇1 列簇2 。。。     设计核心：跳表 + 布隆过滤器     HBase : 数据库 ，底层数据存储在HDFS     Hive只要支持 select   查询延...
HDP与Phoenix分区表创建及Hive压缩测试
笔记中涉及到GP分区和Phoenix分区的创建，以及Hive表的压缩比测试。" 在HDP环境中，数据存储和管理是关键组成部分，这里我们看到两种不同的数据组织方式： 1. **GP分区**: GP分区是Greenplum数据库中的特性，被...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值