(七)HBase的预分区

HBase的预分区

• 为何要预分区？
    1.增加数据读写效率
    2.负载均衡，防止数据倾斜
    3.方便集群容灾调度region
    4.优化Map数量

• 如何预分区？
    每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。

如何设定预分区？

1. 手动指定预分区

   create 'staff','info','partition1',SPLITS => ['1000','2000','3000','4000']
   

访问http://node01:60010/master-status并查看staff表的HRegion分布如下图:

2. 使用16进制算法生成预分区

create 'staff2','info','partition2',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

查看staff2表的HRegion分布如下图:

3. 分区规则创建于文件中

   ①创建splits.txt文件内容如下：

   cd /export/servers/
   vim splits.txt
   
   aaaa
   bbbb
   cccc
   dddd
   

   ②使用规则文件创建表

   create 'staff3','partition2',SPLITS_FILE => '/export/servers/splits.txt'
   

   ③查看staff3表的HRegion分布如下图:
   

4. 使用JavaAPI创建预分区

   import org.apache.hadoop.conf.Configuration;
   import org.apache.hadoop.hbase.HBaseConfiguration;
   import org.apache.hadoop.hbase.HColumnDescriptor;
   import org.apache.hadoop.hbase.HTableDescriptor;
   import org.apache.hadoop.hbase.TableName;
   import org.apache.hadoop.hbase.client.Admin;
   import org.apache.hadoop.hbase.client.Connection;
   import org.apache.hadoop.hbase.client.ConnectionFactory;
   import java.io.IOException;
   public class HBaseSplit {
       public static void main(String[] args) throws IOException {
           //获取连接
           Configuration configuration = HBaseConfiguration.create();
           configuration.set("hbase.zookeeper.quorum", "node01:2181,node02:2181,node03:2181");
           Connection connection = ConnectionFactory.createConnection(configuration);
           Admin admin = connection.getAdmin();
           //自定义算法，产生一系列Hash散列值存储在二维数组中
           byte[][] splitKeys = {{1,2,3,4,5},{'a','b','c','d','e'}};
   
           //通过HTableDescriptor来实现我们表的参数设置，包括表名，列族等等
           HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf("stuff4"));
           //添加列族
           hTableDescriptor.addFamily(new HColumnDescriptor("f1"));
           //添加列族
           hTableDescriptor.addFamily(new HColumnDescriptor("f2"));
           admin.createTable(hTableDescriptor,splitKeys);
           admin.close();
   
       }
   }