phoenix的二级索引

摘要

HBase只提供了一个基于字典排序的主键索引，在查询中你只能通过行键查询或扫描全表来获取数据，使用Phoenix提供的二级索引，可以避免在查询数据时全表扫描，提高查过性能，提升查询效率。

目录

• Covered Indexes(覆盖索引)
• Functional indexes(函数索引)
• Global indexes(全局索引)
• Local indexes(本地索引)

1、 覆盖索引Covered Index

如果创建的是覆盖索引，那么查询语句中的条件字段、返回字段都必须创建过索引，否则就会触发full table scan。如：
create index coverindex user_index on user (name) include (cellphone);
它的特点是：只需要通过索引就能返回所要查询的数据。所以索引的列必须包含所需查询的列(SELECT的列和WHRER的列)
不带索引的查询：
查询USERID= 9bb8b2af925864bb275b840c578df3c3的KEYWORD和URL
EXPLAIN(语句的执行逻辑及计划):

(由图看知先进行了全表扫描再通过过滤器来筛选出目标数据，显示这种查询方式效率是很低的)

带索引：(创建基于USERID的覆盖索引并绑定KEYWORD列上的数据)

CREATE INDEX COVERINDEX ON CSVTANLES(USERID) INCLUDE(KEYWORD)

当你要通过UERID来查询KEYWORD时就直接可以从索引上取回数据而无需先得到索引再去数据表中查询数据

查询语句： SECECT KEYWORD FROM CSVTABLES WHERE USERID='9bb8b2af925864bb275b840c578df3c3'  

2、Functional indexes(函数索引)

从Phoeinx4.3以上就支持函数索引，其索引不局限于列，可以合适任意的表达式来创建索引，当在查询时用到了这些表达式时就直接返回表达式结果

例2：使用UPPER函数创建函数索引使查询出的USERID和URL里字母都是大写的

创建函数索引

CREATE INDEX UPPERINDEX ON CSVTABLES (UPPER(USERID || '  ' || URL))

查询：

3、 全局索引Global indexes

Global indexes(全局索引)

全局索引适用于多读少写的场景，在写操作上会给性能带来极大的开销，因为所有的更新和写操作（DELETE,UPSERT VALUES和UPSERT SELECT）都会引起索引的更新,在读数据时，Phoenix将通过索引表来达到快速查询的目的。

在用使用全局索引之前需要在每个RegionServer上的hbase-site.xml添加如下属性：

<property>
   <name>hbase.regionserver.wal.codec</name>
   <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
</property>

在USERID字段上创建索引

CREATE INDEX USERIDINDEX ON CSVTABLES(USERID);

以下查询会用到索引

SELECT USERID FROM CSVTABLES WHERE USERID='9bb8b2af925864bb275b840c578df3c3';

SELECT USERID,ROWKEY CSVTABLES WHERE USERID='9bb8b2af925864bb275b840c578df3c3';  

 

以下查询不会用到索引

查询语句1.

SELECT USERID,KEYWORD FROM CSVTABLES WHERE USERID='9bb8b2af925864bb275b840c578df3c3'

(虽然USERID是索引字段，但KEYWORD不是索引字段，所以不会使用到索引)

查询语句2.

SELECT KEYWORD FROM CSVTABLES WHERE USERID='9bb8b2af925864bb275b840c578df3c3'

（同理，KEYWORD不是索引字段）

 

使用以下三种方式，执行查询语句2时也将用到索引。

1. 创建包含字段KEYWORD的覆盖索引

CREATE INDEX MYINDEX ON CSVTABLE(USERID) INCLUDE(KEYWORD);

2. 强制使用索引

SELECT /*+ INDEX(CSVTABLES,MYINDEX) */ KEYWORD FROM CSVTABLES WHERE USERID=‘9bb8b2af925864bb275b840c578df3c3’;
如果KEYWORD是索引字段，那么就会直接从索引表中查询
如果KEYWORD不是索引字段，那么将会进行全表扫描，所以当用户明确知道表中数据较少且符合检索条件时才适用，此时的性能才是最佳的。

3. 使用本地索引

CREATE LOCAL INDEX MYINDEX ON CSVTABLES(KEYWORD);

4、Local indexes(本地索引)

本地索引适用于写多读少，空间有限的场景，和全局索引一样，Phoneix在查询时会自动选择是否使用本地索引，使用本地索引，为避免进行写操作所带来的网络开销，索引数据和表数据都存放在相同的服务器中，当查询的字段不完全是索引字段时本地索引也会被使用，与全局索引不同的是，所有的本地索引都单独存储在同一张共享表中，由于无法预先确定region的位置，所以在读取数据时会检查每个region上的数据因而带来一定性能开销。
在使用本地索引需要在Master的hbase-site.xml添加以下属性
复制代码

<property>
   <name>hbase.master.loadbalancer.class</name>
   <value>org.apache.phoenix.hbase.index.balancer.IndexLoadBalancer</value>
</property>
<property>
   <name>hbase.coprocessor.master.classes</name>
   <value>org.apache.phoenix.hbase.index.master.IndexMasterObserver</value>
</property>

复制代码
Phoeinx4.3以上为支持在数据region合并时本地索引region也能进行合并需要在每个region servers中添加以下属性

<property>
   <name>hbase.coprocessor.regionserver.classes</name>
   <value>org.apache.hadoop.hbase.regionserver.LocalIndexMerger</value>
</property>

创建本地索引
CREATE LOCAL INDEX MYINDEX ON CSVTABLES(USERID);
查询
CREATE LOCAL INDEX MYINDEX ON CSVTABLES(USERID);

5 、查看表索引

!index “harve_user”;

6、删除索引

drop index MYINDEX ON CSVTABLES;

如果表中的一个索引列被删除，则索引也将被自动删除，如果删除的是

覆盖索引上的列，则此列将从覆盖索引中被自动删除。