Hbase MOB介绍
HBase通常存取小于10K的数据性能很好,如果文件稍大点,比如中等文件的大小,大小在100K<10M之间,由于压缩会带来性能下降,会导致region不可用。
为了解决这个问题,HBase引入了对中等大小文件的支持,也就是Hbase MOB(The Moderate Object Storage)特性,或者叫Hbase对象存储。详见HBase-11339。
关于HBase MOB的介绍,可以参考一下几篇文章:
这个特性在HBase 2.0.0版本才被合入,由于现在还是Beta版本,所以不推荐使用。
如果你想使用这个特性,推荐使用以下版本:
Cloudera - CDH 5.4.x及之后版本
Hortonworks - HDP 2.5及之后版本
华为 - FusionInsight_HBase (不开源,通常在电信行业使用)
适用场景
这个特性适合将图片、文档、PDF、小视频存储到Hbase中。
典型的场景:
银行存取客户签字或扫描件。
交通部门存取过车图片。
MOB配置方法
启用HFile Version 3
在hbase-si te.xml添加属性
hfile.format.version
3
2. 将列指定为MOB类型
IS_MOB 设置为true,将这个列存为MOB.
MOB_THRESHOLD 设置阈值。超过阈值大小的文件,就被当成MOB对待。默认阈值为100KB。
HBase Shell语句:
hbase