关于hbase表的设计原理,列簇,数据压缩,版本的设计

1.列簇一般设置是1-2 个,实际工作中我们设置的是一个列簇,如果列簇太多,那么一个列簇对应的是一个store,也是对应一个memstore,那么当达到一定的阈值(默认是128M),就会进行一次flush,多个列簇就会进行多次的flush,会导致不必要的I/O消耗,所以一般设置成1-2个就可以,并且能使用一个就不要使用两个。
在这里插入图片描述

2.版本的设计:我们的项目不需要保存历史数据,那么就使用默认的版本:VERSIONS=1,;如果我们的项目需要保存历史的变更信息,那么我们就可以使用VERSIONS>1的版本,但是一个弊端就是,设置为>1,那么也就意味着会占用更多的空间。
3.关于数据的压缩,hbase默认是没有使用数据压缩的CORPRESSION=NONE;
在这里插入图片描述

我们可以自己来设置,数据压缩算法有(GZIP,SNAPPY,LZO),其中GZ是hbase默认的算法,snappy要看一下hadoop是否支持这个压缩算法。
GZ的压缩占比是13%左右,压缩占比是最高的,但是同时压缩和解压缩的速度相对来说较慢一下,一般也就是使用GZ,看具体的实际情况。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值