Lucene与HBase的组合使用及HBasene的分析报告

Lucene简介

　　Lucene中，以document的形式作为搜索的主体。document由fieldName和fieldValue所组成，每个fieldValue又可以由一个或多个term元素来组成。基于不同的分词及索引规则，可用于搜索fieldValue的term少于组成fieldValue的term。Lucene的搜索基于反向索引，包含着可用于搜索document的field信息。通过Lucene，可以正向查找document，以便了解其包含哪些field信息；也可以通过反向索引，通过搜索字段的term，来查询包含该term的document。

 

[ 图1 ]  Lucene总体架构

 

　　由图1所示，IndexSearcher实现了搜索的逻辑，IndexWriter实现了文档的插入与反向索引的建立，IndexReader由IndexSearcher调用以便读取索引的内容。IndexReader和IndexWriter都依赖于抽象类Directory，Directory提供操作索引数据及的API。

　　标准的Lucene是基于文件系统和基于内存的。

　　标准基于文件系统的后端的缺点在于，随着索引增加性能会下降，人们使用了各种不同的技术来解决这个问题，包括负载均衡和索引分片（index sharding，在多个Lucene实例之间切分索引）。尽管分片功能很强大，但它让总体的实现架构变得更复杂，并且需要大量对期望文档的预测知识，才能对Lucene索引进行合适地分片。另一方面，在大数据量的情况下，segment的合并花销巨大；频繁的update数据将使得Lucene对Disk io产生巨大的影响。一个新的数据的update，可能导致一部分根本没有变化的索引被重写很多次，并且可能导致很多的小的index segment，造成了search的性能下降。

　　Lucene的优势在于索引查找的迅速，而非document的存储。为解决上述问题，基于NoSQL数据库存储索引的后端结构应运而生。

 

以下，将基于HBase的实现来进行分析。

实现方法

　　在Lucene中，其会操作两个单独的数据集：

• 文档数据集中存储了所有文档，包括存储的字段等。
• 索引数据集中存储了所有字段/词汇/词频/位