使用Phoenix为Hbase表创建二级索引

---

1 利用Phoenix为Hbase表创建二级索引

转自 https://blog.csdn.net/u011491148/article/details/45749807

1.1配置Hbase支持Phoenix创建二级索引

对于Hbase，如果想精确定位到某行记录，唯一的办法就是通过rowkey查询。如果不通过rowkey查找数据，就必须逐行比较每一行的值，对于较大的表，全表扫描的代价是不可接受的。

1.1.1 修改Hbase的regionserver节点的hbase-site.xml配置文件

<property>
    <name>hbase.regionserver.wal.codec</name>
    <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
</property>
<property>
    <name>hbase.region.server.rpc.scheduler.factory.class</name>
    <value>org.apache.hadoop.hbase.ipc.PhoenixRpcSchedulerFactory</value>
    <description>Factory to create the Phoenix RPC Scheduler that uses separate queues for index and metadata updates</description>
</property>
<property>
    <name>hbase.rpc.controllerfactory.class</name>
    <value>org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory</value>
    <description>Factory to create the Phoenix RPC Scheduler that uses separate queues for index and metadata updates</description>
</property>

注意：网上配置文档里有这一条，但在实际测试中（测试环境hbase-1.3.1，网上0.98.6），加入该条的regionserver会在hbase启动时失败，对应节点上没有HregionServer进程，去掉该配置后正常启动，且能正常创建local index。

<property>
    <name>hbase.coprocessor.regionserver.classes</name>
    <value>org.apache.hadoop.hbase.regionserver.LocalIndexMerger</value>
</property>

还有一点，hbase-site.xml的zookeeeper的配置信息不能加2181，否则在创建local index的时候会报以下异常：

正常配置

<property>
	<name>hbase.zookeeper.quorum</name>
	<value>hadoop102,hadoop103,hadoop104</value>
</property>

1.1.2 修改Hbase的master节点的hbase-site.xml配置文件

注意，如果master节点上也有regionserver，那么master节点配置如下，否则不需要regionserver的配置参数。

<!-- phoenix master 配置参数 -->
<property>
    <name>hbase.master.loadbalancer.class</name>
    <value>org.apache.phoenix.hbase.index.balancer.IndexLoadBalancer</value>
</property>
<property>
    <name>hbase.coprocessor.master.classes</name>
    <value>org.apache.phoenix.hbase.index.master.IndexMasterObserver</value>
</property>
<!-- phoenix regionserver 配置参数 -->
<property>
    <name>hbase.regionserver.wal.codec</name>
    <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
</property>

1.2 创建索引

配置好以上配置信息之后，重启Hbase，以下测试环境通过Phoenix映射Hbase中已有的表，数据量743569行，202M，当然也可以通过Bulkload直接在Phoenix创建表并插入数据影响Hbase。

1.2.1 未创建索引信息时，用时6.08s

select "uploader" from "hive_hbase_youtube" where "uploader"='karianahhk';

1.2.2 创建索引，用时0.014s

create index "youtube_index2" on "hive_hbase_youtube" ("info"."uploader");

1.3 关于Phoenix创建的HBase二级索引的更新问题

1） 在使用Phoenix创建Hbase的二级索引表之后，在Phoenix中看不到新建的索引表，但是在Hbase表中可以看到索引表。

现在，有一个问题，可以看到同一个表中查询的数据却不同，原因是Jarry是直接向Hbase表插入的数据，而Phoenix已经为name字段创建索引，这时就查询不到Jarry，但是通过Phoenix的映射表向Hbase插入的数据数据查询索引字段可以查询到。

2） 问题是，如果绕开Phoenix向Hbase表插入数据，那么索引表就不会动态更新。
解决方案：
现有的解决方案是，在通过Hbase向表中插入数据时，我们要向索引表中也插入一条索引数据。那么查看以下索引表数据：

其实索引的rowkey就是索引字段+rowkey，那么我们插入一条：

put 'name',"Jarry\x001003",'0:_0','x'

3） 再次查询Phoenix中的索引字段，可以显示索引字段了。

有关索引的扩展请访问 https://blog.csdn.net/qq_41665356/article/details/80278125