HBase的FlushLargeStoresPolicy多例族支持

原创 2015年11月18日 11:40:29

众所周知,HBase的一个例族flush时,会导致所有例族都跟着被flush。在HBase-0.94的官方说明(http://hbase.apache.org/0.94/book/number.of.cfs.html)也明确HBase不能很好的支持一个以上的例族。

 

HBase-2.0.0HBase-1.1.0https://issues.apache.org/jira/browse/HBASE-10201)引入FlushLargeStoresPolicy来解决这个问题。

 

FlushLargeStoresPolicy的实现非常简单,就是在flush之前先判断下Store的大小,当超过指定大小时才flush注:实际上不仅仅受此决定,具体可查看HRegion类的shouldFlushStore()的实现)。

 

相关的类(之前只有FlushAllStoresPolicy一种flush策略,也就是flush一个例族时也会flush其它所有例族):

 

 

flush过程:

 

相关源代码:

public abstract class FlushPolicy {

    protected HRegion region;

    

    protected void configureForRegion(HRegion region) {

        this.region = region;

    }

    

    public abstract Collection<Store> selectStoresToFlush();

}

 

public class FlushLargeStoresPolicy extends FlushPolicy {

    private boolean shouldFlush(Store store) {

        if (store.getMemStoreSize() > this.flushSizeLowerBound) {

            return true;

        }

        

        // 请注意下面这句

        return region.shouldFlushStore(store);

    }

    

    public Collection<Store> selectStoresToFlush() {

        Collection<Store> stores = region.stores.values();

        Set<Store> specificStoresToFlush = new HashSet<Store>();

        for (Store store : stores) {

            if (shouldFlush(store)) {

                specificStoresToFlush.add(store);

            }

        }

        

        return specificStoresToFlush;

    }

}

 

public class FlushAllStoresPolicy extends FlushPolicy {

  public Collection<Store> selectStoresToFlush() {

    return region.stores.values();

  }

}

 

public class HRegion {

    boolean shouldFlushStore(Store store) {

        if ((maxFlushedSeqId > 0)

           && (maxFlushedSeqId + flushPerChanges < sequenceId.get())) {

            return true;

        }

        

        if (flushCheckInterval <= 0) {

            return false;

        }

        

        long now = EnvironmentEdgeManager.currentTime();

        if (store.timeOfOldestEdit() < now - flushCheckInterval) {

            return true;

        }

        

        return false;

    }

}

 

 

HBase事务

众所周知,ACID是指原子性(Atomicity),一致性(Consistency),隔离性(Isolation)和持久性(Durability)。 HBase对同一行数据的操作提供ACID保证...
  • yueyedeai
  • yueyedeai
  • 2013年11月24日 17:15
  • 1781

servlet是单例和struts2的action多例的理解

1.struts2中action是多例的,即一个session产生一个action 如果是单例的话,若出现两个用户都修改一个对象的属性值,则会因为用户修改时间不同,两个用户访问得到的属性不一样,操作...
  • chenchaofuck1
  • chenchaofuck1
  • 2016年07月30日 20:50
  • 3746

HBase 事务性 (Transaction)

What is Transaction 先摘录一段Wiki关于Transaction(事务)的释义: A transaction comprises a unit of work performe...
  • PirateLeo
  • PirateLeo
  • 2013年02月19日 22:40
  • 13614

HBase 列族数据库

一、   简介 history  started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 ini...
  • u013378306
  • u013378306
  • 2016年09月05日 18:47
  • 14480

spring单例和多例详解的实验,以及如何使用多例模式

原文:http://www.tuicool.com/articles/RzIvAj spring生成对象默认是单例的。通过scope属性可以更改为多例。 bean id="user" cl...
  • chuntian_feng
  • chuntian_feng
  • 2016年07月10日 15:37
  • 4568

Java单例和多例的性能

公用类ThreadUtils,用于父线程等待子线程运行结束。import java.util.List;public class ThreadUtils { // 注册runnable ...
  • xlxxcc
  • xlxxcc
  • 2016年08月25日 14:27
  • 1225

[设计模式] 多例模式与单例模式区别

多例模式与单例模式都禁止外界直接将之实例化,同时通过静态工厂方法向外界提供循环使用的自身的实例。它们的不同在于单例模式仅有一个实例,而多例模式则可以有多个实例。 多例模式往往具有一个聚集属性,通过向...
  • luotangsha
  • luotangsha
  • 2011年08月01日 22:42
  • 4505

Hbase、elasticsearch整合中jar包冲突

问题背景再数据平台中,项目搭建需要使用es和HBASE搭建数据查询接口,整合的过程中出现jar包冲突的bug :com.google.common.base.Stopwatch.()V from cl...
  • qq_31573519
  • qq_31573519
  • 2017年11月30日 19:21
  • 342

spring单例和多例详解。如何在单例中调用多例对象

spring单例和多例详解。如何在单例中调用多例对象 spring生成对象默认是单例的。通过scope属性可以更改为多例。 bean id="user" class="modl...
  • yansong_8686
  • yansong_8686
  • 2014年09月16日 23:48
  • 4439

诚实族与说谎族

问题:             说谎族和诚实族是两个不同的民族。说谎族永远说谎话,诚实族永远说实话。谜语博士是个聪明人他要发现谁是说谎族谁是诚实族。谜语博士问了三个人。 第一个人说...
  • ZM970307
  • ZM970307
  • 2017年05月09日 23:14
  • 245
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:HBase的FlushLargeStoresPolicy多例族支持
举报原因:
原因补充:

(最多只允许输入30个字)