Lily HBase Indexer使用整理

关于Key-Value Indexer组件

CDH5.3.2中的Key-Value Indexer使用的是Lily HBase NRT Indexer服务，Lily HBase Indexer是一款灵活的、可扩展的、高容错的、事务性的，并且近实时的处理HBase列索引数据的分布式服务软件。它是NGDATA公司开发的Lily系统的一部分，已开放源代码。Lily HBase Indexer使用SolrCloud来存储HBase的索引数据，当HBase执行写入、更新或删除操作时，Indexer通过HBase的replication功能来把这些操作抽象成一系列的Event事件，并用来保证写入Solr中的HBase索引数据的一致性。并且Indexer支持用户自定义的抽取，转换规则来索引HBase列数据。Solr搜索结果会包含用户自定义的columnfamily:qualifier字段结果，这样应用程序就可以直接访问HBase的列数据。而且Indexer索引和搜索不会影响HBase运行的稳定性和HBase数据写入的吞吐量，因为索引和搜索过程是完全分开并且异步的。Lily HBase Indexer在CDH5中运行必须依赖HBase、SolrCloud和Zookeeper服务。

Lily HBase NRT Indexer使用流程

使用Lily HBase做近实时索引处理。

1.HBase表启用replication

创建HBase表时启动列族的replication功能。使用如下命令：

create 'table',{NAME => 'cf', REPLICATION_SCOPE => 1} #其中1表示开启replication功能，0表示不开启，默认为0

如果是对于已创建的表，可以使用如下命令：

disable 'table'
alter 'table',{NAME => 'cf', REPLICATION_SCOPE => 1}
enable 'table'

2.创建一个你需要索引的Solr Collection

创建流