HBase 2.0 MOB 保存图片小视频利器

HBase 2.0 MOB

初步了解

HBase MOB主要解决的是100KB--10MB文件保存。MOB的引入，使得HBase非常适合存储图片、文件、短视频等二进制对象。

MOB之前，也可以保存100KB以上的文件，但是HBase性能比常差，理论上MOB二进制对象大小应该在100KB--10MB之间，超过10MB的文件HBase也能进行存储但是效率相对比较低，不过可以采用切割文件的方式，把文件分为小于10M大小的文件进行保存，获取时候再进行合并。超过100M的文件，建议直接存放在HDFS上。

版本支持

HBase MOB是HBase 2.0 版本引入的功能，因此Apache HBase要2.0及以上版本才支持。

CDH5.4.x版本开始支持MOB

HDP2.5.x版本开始支持MOB

MOB开启

1.HFile v3的配置

通过修改hbase-site.xml中hfile.format.version属性值为 3：

<property>

  <name>hfile.format.version</name>

  <value>3</value>

</property>

在HBase 2.0中3是默认配置。

2.修改列族属性

IS_MOB：设置为true

MOB_THRESHOLD：设置MOB阈值，超过阈值的被当做MOB存储，默认100KB。

3.HBase Shell命令

hbase(main):005:0> create 'test141', {NAME => 'f2', IS_MOB => true, MOB_THRESHOLD =>102400}

hbase(main):005:0> alter 'test141', {NAME => 'f2', IS_MOB => true, MOB_THRESHOLD =>102400}

hbase(main):006:0> describe 'test141'

                                                                                                                                                                                                               {NAME => 'f2', MOB_THRESHOLD => '102400', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', IS_MOB => 'true', COMPRESSION => 'NONE',

 BLOCKCACHE => 'true', BLOCKSIZE => '65536'}                                                                                                                                                                                                

4.scala代码：

def modifyColumnFamily2_0(conn: Connection, admin: Admin, tableName: String, familyName: String*): Unit = {
  try {
    admin.disableTable(TableName.valueOf(tableName))
    for (cf <- familyName) {
      val cdb = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes(cf))
      cdb.setMaxVersions(1)
      cdb.setMobEnabled(true)
      cdb.setMobThreshold(102400)
      val cfd: ColumnFamilyDescriptor = cdb.build()
      admin.modifyColumnFamily(TableName.valueOf(tableName), cfd)
    }
  }
  catch {
    case exception: Exception =>
      exception.printStackTrace()
  } finally {
    admin.enableTable(TableName.valueOf(tableName))
  }
}

MOB压缩

HBase会定期做压缩，默认值按天处理。

另外，HBASE-16981又引入了按周和月的MOB压缩聚合策略，改善了MOB的存储（CDH HBase自CDH5.11.0开始支持HBASE-16981修复的版本）。

通过属性MOB_COMPACT_PARTITION_POLICY设置不同的压缩聚合策略，可选值有daily、weekly和monthly，例如：

hbase(main):007:0> alter 'test141', {NAME => 'f2', IS_MOB => true, MOB_THRESHOLD =>102400,MOB_COMPACT_PARTITION_POLICY =>'weekly'}

                                                                                                                                                                                                             

hbase(main):008:0> describe 'test141'

{NAME => 'f2', MOB_THRESHOLD => '102400', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER'

, MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', IS_MOB => 'true', COMPRESSION => 'NONE',BLOCKCACHE => 'true', BLOCKSIZE => '65536', MOB_COMPACT_PARTITION_POLICY => 'WEEKLY'}                                                                                                                                                     

MOB缓存

为了提高MOB读取的性能，服务端会保留一级LRU缓存，参数设置：

hbase.mob.file.cache.size：缓存MOB文件的数量，默认1000；

hbase.mob.cache.evict.period：缓存清理周期，默认是3600s；

hbase.mob.cache.evict.remain.ratio：缓存清理后保留文件的比例，取值范围为0~1，默认0.5f。