1.为何要预分区?
1、增加数据读写效率
2、负载均衡,防止数据倾斜
3、方便集群容灾调度region
4、优化Map数量
2.如何预分区?
每一个region维护着startRow与endRowKey,如果加入的数据符合某个region维护的rowKey范围,则该数据交给这个region维护。
3.设定预分区的方式
官方文档:http://abloz.com/hbase/book.html#ops.regionmgt
1、手动指定预分区
hbase(main):001:0> create 'staff','info','partition1',SPLITS => ['1000','2000','3000','4000']
2、使用16进制算法生成预分区
hbase(main):003:0> create 'staff2','info','partition2',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}
3、分区规则创建于文件中
创建splits.txt文件内容如下:
cd /export/servers/
vim splits.txt
aaaa
bbbb
cccc
dddd
客户端执行
hbase(main):004:0> create 'staff3','partition2',SPLITS_FILE => '/export/servers/splits.txt'
4、使用JavaAPI创建预分区
导包与此同:https://blog.csdn.net/weixin_44449054/article/details/114025158
/**
* 通过javaAPI进行HBase的表的创建以及预分区操作
*/
@Test
public void hbaseSplit() throws IOException {
//获取连接
Configuration configuration = HBaseConfiguration.create();
configuration.set("hbase.zookeeper.quorum", "node01:2181,node02:2181,node03:2181");
Connection connection = ConnectionFactory.createConnection(configuration);
Admin admin = connection.getAdmin();
//自定义算法,产生一系列Hash散列值存储在二维数组中
byte[][] splitKeys = {{1,2,3,4,5},{'a','b','c','d','e'}};
//通过HTableDescriptor来实现我们表的参数设置,包括表名,列族等等
HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf("stuff4"));
//添加列族
hTableDescriptor.addFamily(new HColumnDescriptor("f1"));
//添加列族
hTableDescriptor.addFamily(new HColumnDescriptor("f2"));
admin.createTable(hTableDescriptor,splitKeys);
admin.close();
}