hbase 开启缓冲和不开启缓冲 比较

hbase 中的put 一个put相当于是一个rpc,如果循环的次数过多 则绝大部分时间都消耗在rpc的网路传输过程中 而不是用于传输数据的时间占比高

如果开启个缓冲 一次性提交批量数据 则会提高效率

得了 话就说那么多,直接上代码

package com.hit.test;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.HTableInterface;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;

/**
 * Created by zh on 2017/10/25.
 */
public class TestPut {

    private byte[] f = Bytes.toBytes("mycf");
    private byte[] q = Bytes.toBytes("q1");
    private byte[] q2 = Bytes.toBytes("q2");


    public static void main(String[] args) throws Exception {
        TestPut t = new TestPut();
        HTableInterface mytable = HbaseUtils.getTable("sku:mytable");
        t.put1000(mytable);
        t.put100Cache(mytable);
    }

    public  void put1000( HTableInterface mytable)throws Exception{
        Long l = System.currentTimeMillis();

        for (int i =0;i<100000;i++){
            Put put = new Put(Bytes.toBytes("row1_"+i));
            put.add(f,q,Bytes.toBytes("row1_q1_value1_"+i));
            put.add(f,q2,Bytes.toBytes("row1_q2_value1_"+i));
            mytable.put(put);
        }

        System.out.println("put1000消耗时间为 "+ (System.currentTimeMillis() - l)+"ms");
    }

    public void put100Cache(HTableInterface mytable)throws Exception{
        Long l = System.currentTimeMillis();
        mytable.setAutoFlush(false);
        for (int i =0;i<100000;i++){
            Put put = new Put(Bytes.toBytes("row1_"+i));
            put.add(f,q,Bytes.toBytes("row1_q1_value1_"+i));
            put.add(f,q2,Bytes.toBytes("row1_q2_value1_"+i));
            mytable.put(put);
        }
        System.out.println("put100Cache消耗时间为 "+ (System.currentTimeMillis() - l)+"ms");

    }
}

附上测试的结果

put1000消耗时间为 164039ms
put100Cache消耗时间为 1895ms

差距简直大到惊人

可以手动去强制写缓冲 不过不推荐 推荐直接设置缓冲池的大小 让hbase客户端自动去提交数据

不过有一点得注意一下 我写的这个代码也没有注意到 最后得进行一个手动强制flash缓冲区域 不然会出现需要等待下次缓冲区域满了才会进行刷写hbase,出现数据丢失的情况