HBase（第四节）HBase预分区、rowKey设计技巧、协处理器、二级索引及hue与Hbase的整合

最新推荐文章于 2024-08-05 13:35:18 发布

hwq317622817

最新推荐文章于 2024-08-05 13:35:18 发布

阅读量228

点赞数

文章标签： hbase 大数据

本文链接：https://blog.csdn.net/hwq317622817/article/details/113186892

版权

本文详细介绍了HBase的预分区策略，包括为何预分区、如何预分区及其设定方法。此外，文章还探讨了HBase的rowKey设计技巧，强调了长度、散列和唯一性原则，以及热点问题的解决。还提到了HBase的协处理器，包括Observer和Endpoint的用途和加载方式，并给出了一个实战示例。最后，文章提及了HBase的二级索引和HBase与hue的整合过程。

摘要由CSDN通过智能技术生成

HBase预分区

1、为何要预分区？

增加数据读写效率
负载均衡，防止数据倾斜
方便集群容灾调度region
优化Map数量

2、如何预分区？

每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。

3、如何设定预分区？

1、手动指定预分区

hbase(main):001:0> create 'staff','info','partition1',SPLITS => ['1000','2000','3000','4000']

完成后如图：
在这里插入图片描述
2、使用16进制算法生成预分区

hbase(main):003:0> create 'staff2','info','partition2',{
   NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

完成后如图：
在这里插入图片描述
3、分区规则创建于文件中
创建splits.txt文件内容如下：

cd /export/servers/
vim splits.txt

aaaa
bbbb
cccc
dddd

然后执行：

hbase(main):004:0> create 'staff3','partition2',SPLITS_FILE => '/export/servers/splits.txt'

成功后如图：
在这里插入图片描述
4、使用JavaAPI创建预分区
Java代码如下：

/**
     * 通过javaAPI进行HBase的表的创建以及预分区操作
     */
@Test
public void hbaseSplit() throws IOException {
   
   //获取连接
	   Configuration configuration = HBaseConfiguration.create();
	   configuration.set("hbase.zookeeper.quorum",
	    "node01:2181,node02:2181,node03:2181");
	   Connection connection = ConnectionFactory.createConnection(configuration);
	   Admin admin = connection.getAdmin();
	   //自定义算法，产生一系列Hash散列值存储在二维数组中
	   byte[][] splitKeys = {
   {
   1,2,3,4,5},{
   'a','b','c','d','e'}};
	
	
	   //通过HTableDescriptor来实现我们表的参数设置，包括表名，列族等等
	   HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf("stuff4"));
	   //添加列族
	   hTableDescriptor.addFamily(new HColumnDescriptor("f1"));
	   //