HTablePool的实现分析

1）基本概念

HTablePool

• ​3种类型
  
  • ​PoolType.Reusable（默认）一个实例池，多线程复用，内部是每个table一个ConcurrentLinkedQueue装多个实例
  • PoolType.ThreadLocal，很奇怪的实现，每个线程只能有一个实例，感觉在多线程的场景没有意义
  • PoolType.RoundRobin​（没有被使用，就算设置了该类型也没用，见HTablePool的构造函数）
    
• PoolMap<String, HTableInterface> tables​：用于存放table实例，正如上面提到的默认是每个table对应一个ConcurrentLinkedQueue​
  
• maxSize:pool的最大尺寸​
  

2）样例代码

public class HTablePoolTest {  
  
    protected static String TEST_TABLE_NAME = "testtable";  
  
    protected static String ROW1_STR = "row1";  
    protected static String COLFAM1_STR = "colfam1";  
    protected static String QUAL1_STR = "qual1";  
  
    private final static byte[] ROW1 = Bytes.toBytes(ROW1_STR);  
    private final static byte[] COLFAM1 = Bytes.toBytes(COLFAM1_STR);  
    private final static byte[] QUAL1 = Bytes.toBytes(QUAL1_STR);  
  
    private static HTablePool pool;  
  
    @BeforeClass  
    public static void runBeforeClass() throws IOException {  
        Configuration conf = HBaseConfiguration.create();  
        pool = new HTablePool(conf, 10);  
  
        // 填充pool  
        HTableInterface[] tables = new HTableInterface[10];  
        for (int n = 0; n < 10; n++) {  
            tables[n] = pool.getTable(TEST_TABLE_NAME);  
        }  
        for (HTableInterface table : tables) {  
            table.close();  
        }  
    }  
  
    @Test  
    public void testHTablePool() throws IOException, InterruptedException,  
            ExecutionException {  
  
        Callable<Result> callable = new Callable<Result>() {  
            public Result call() throws Exception {  
                return get();  
            }  
        };  
          
        FutureTask<Result> task1 = new FutureTask<Result>(callable);  
  
        FutureTask<Result> task2 = new FutureTask<Result>(callable);  
  
        Thread thread1 = new Thread(task1, "THREAD-1");  
        thread1.start();  
        Thread thread2 = new Thread(task2, "THREAD-2");  
        thread2.start();  
  
        Result result1 = task1.get();  
        assertThat(Bytes.toString(result1.getValue(COLFAM1, QUAL1)), is("val1"));  
  
        Result result2 = task2.get();  
        assertThat(Bytes.toString(result2.getValue(COLFAM1, QUAL1)), is("val1"));  
  
    }  
  
    private Result get() {  
        HTableInterface table = pool.getTable(TEST_TABLE_NAME);  
        Get get = new Get(ROW1);  
        try {  
            Result result = table.get(get);  
            return result;  
        } catch (IOException e) {  
            // TODO Auto-generated catch block  
            e.printStackTrace();  
            return null;  
        } finally {  
            try {  
                table.close();  
            } catch (IOException e) {  
                // TODO Auto-generated catch block  
                e.printStackTrace();  
            }  
        }  
    }  
  
} 

• 使用多线程访问HTablePool

3）关键点分析

3.1）初始化

HTablePool pool = new HTablePool(conf, 5);

• 实例化PoolMap
• ​实例化HTablePool，此时还没有任何HTable实例​，tables为空

3.2）获取table实例

pool.getTable(TEST_TABLE_NAME);​

• 查看tables是否含有table,如果没有，创建一个HTable实例，HTable的初始化具体的细节见我的博文http://blog.csdn.net/pwlazy/article/details/7417135
• 将返回HTable实例封装成PooledHTable实例返回
• PooledHTable是​HTable的一个Wrapper,除了close()不一样，​PooledHTable的close会将​HTable实例返回到上面提到的tables中
  
• 所以tables确实存放的是HTable实例，但取出来丢给应用程序的就是PooledHTable实例

3.3）table.get(get);

• 从regionserver获取数据
• ​该动作具体的详细细节见我的博文http://blog.csdn.net/pwlazy/article/details/7417135​
  

3.4）table.close();

• 将table归还到​HTablePool中，如果此时​HTablePool尺寸超过最大尺寸，释放该实例​，
• 关于释放HTable实例与释放连接的问题
  • HTable实例相关的两个连接，一个是对zookeeper,一个是regionServer
  • 如果没有其他HTable实例​（在HTablePool尺寸大于0的情况不可能出现这种情况），及没有zookeeper的连接计数为0，此时才会释放zookeeper连接
  • ​regionServer的连接有HBaseClient$Connection这个线程单独维护，与HTable实例基本没啥关系，注意HBaseClient$Connection这个线程绑定了连接

4）总体看HTablePool

• ​容纳了多个HTable实例
  
• 多个HTable实例会共享同一个zookeeper连接
• 多个HTable实例，如果同在一个RegionServer会共享同一个连接HBaseClient$Connection
• 很容易让人误解每个HTable实例都有一个HBaseClient$Connection，就像连接池那样，其实不是
• 虽然HTablePool有最大尺寸，但并没有限制HTable实例不得大于这个尺寸，一旦超过这个尺寸就会实例化，但归还到实例池的时候，如果池满了会弃用，因此​HTablePool就是一个对象池而不是连接池
• 使用HTablePool的意义？《 HBase-The-Definitive-Guide​》 作者是这么说的
  • ​实例化HTable实例比较耗时，最好启动时初始化（这个理由不是很充分，完全可以使用HTable单例）
  • HTable实例线程不安全，特别是在auto flash为false的情况，因为存在本地的write buffer   ，即使​auto flash为true， 也不建议使用（对此作者并没说为什么​）
    
  • 建议每个线程一个HTable实例
• HTablePool存在的问题​​​​​
  
  • ​PooledHTable的代码很恶心，PooledHTable作为一个HTable的wrapper,两者的关系应该是包含，但源码中却是继承
  • ​HTablePool并不是连接池，就是直接使用​HBaseClient$Connection【如果是同一个region的话就是单线程】来完成网络通讯的，后者的问题在​我的博文http://blog.csdn.net/pwlazy/article/details/7417135有提到， 的确存在多个线程使用​单个HBaseClient$Connection而带来同步和阻塞的问题，线上使用必须好好的压力测试一下

本文摘自：http://blog.csdn.net/pwlazy/article/details/7456115