Phoenix创建Hbase二级索引

Phoenix创建Hbase二级索引

第1章 Phoenix简介

1.1 Phoenix定义

Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。

1.2 Phoenix特点

1. 容易集成：如Spark，Hive，Pig，Flume和Map Reduce。

2. 性能好：直接使用HBase API以及协处理器和自定义过滤器，可以为小型查询提供毫秒级的性能，或者为数千万行提供数秒的性能。

3. 操作简单：DML命令以及通过DDL命令创建表和版本化增量更改。

4. 安全功能: 支持GRANT和REVOKE 。

5. 完美支持Hbase二级索引创建。

第2章 Phoenix创建Hbase二级索引

2.1 配置Hbase支持Phoenix创建二级索引

2.1.1 添加如下配置到Hbase的Hregionserver节点的hbase-site.xml

  <!-- phoenix regionserver 配置参数  --> 
<property>  
    <name>hbase.regionserver.wal.codec</name>  			     
    <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>  
</property>     

<property>  
    <name>hbase.region.server.rpc.scheduler.factory.class</name>  
    <value>org.apache.hadoop.hbase.ipc.PhoenixRpcSchedulerFactory</value>  
    <description>Factory  to create the Phoenix RPC Scheduler that uses separate queues for index and  metadata updates</description>  
</property>     

<property>  
    <name>hbase.rpc.controllerfactory.class</name>  
    <value>org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory</value>  
    <description>Factory  to create the Phoenix RPC Scheduler that uses separate queues for index and  metadata updates</description>  
</property>     

2.1.2 添加如下配置到Hbase中Hmaster节点的hbase-site.xml中

  <!-- phoenix master 配置参数  -->  
<property>  
    <name>hbase.master.loadbalancer.class</name>  
    <value>org.apache.phoenix.hbase.index.balancer.IndexLoadBalancer</value>  
</property>  

<property>  
    <name>hbase.coprocessor.master.classes</name>      
    <value>org.apache.phoenix.hbase.index.master.IndexMasterObserver</value>  
</property>  

2.1.3 常见问题汇总：

1）注意：网上配置文档里有这一条，但在实际测试中（测试环境hbase-1.3.1，网上0.98.6），加入该条的regionserver会在hbase启动时失败，对应节点上没有HregionServer进程，去掉该配置后正常启动，且能正常创建local index。

<property>  
    <name>hbase.coprocessor.regionserver.classes</name>
    <value>org.apache.hadoop.hbase.regionserver.LocalIndexMerger</value>  
</property>  

2）hbase-site.xml的zookeeeper的配置信息不能加2181，否则在创建local index的时候会报以下异常：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QF40WL2h-1627632685904)(file:///C:/Users/86178/AppData/Local/Temp/msohtmlclip1/01/clip_image002.jpg)]

正常配置：

<property>        
    <name>hbase.zookeeper.quorum</name>      
    <value>hadoop101,hadoop102,hadoop103</value>  
</property>  

2.2 创建索引

2.2.1 phoenix的索引分类

1）global index是默认的索引格式。适用于多读少写的业务场景。写数据的时候会消耗大量开销，因为索引表也要更新，而索引表是分布在不同的数据节点上的，跨节点的数据传输带来了较大的性能消耗。在读数据的时候Phoenix会选择索引表来降低查询消耗的时间。如果想查询的字段不是索引字段的话索引表不会被使用，也就是说不会带来查询速度的提升。

CREATE INDEX my_index ON my_table (my_index)

2）Local index适用于写操作频繁的场景。索引数据和数据表的数据是存放在相同的服务器中的，避免了在写操作的时候往不同服务器的索引表中写索引带来的额外开销。查询的字段不是索引字段索引表也会被使用，这会带来查询速度的提升。

CREATE LOCAL INDEX my_index ON my_table (my_index)

2.2.2 三种提升效率查询方式

1） CREATE INDEX my_index ON my_table (v1) INCLUDE (v2)
2） SELECT /*+ INDEX(my_table my_index) */ v2 FROM my_table WHERE v1 = ‘foo’
3） CREATE LOCAL INDEX my_index ON my_table (v1)

2.2.3 如何删除索引

DROP INDEX my_index ON my_table

CREATE LOCAL INDEX my_index ON my_table (v1) |

2.2.3 如何删除索引

DROP INDEX my_index ON my_table