Lucene的总体架构简介
Lucene是apache软件基金会jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。
Lucene的原作者是Doug Cutting,他是一位资深全文检索专家,曾经是V-Twin搜索引擎的主要开发者,后在Excite担任高级系统架构设计师,目前人事一些Internet底层架构的研究。一开始,Doug Cutting是将Lucene发表在自己的个人主页上。2000年3月将其转移到了SourceForge上,并于2001年10月捐献给了Apache软件聪明,使Lucene成为Jakarta的一个子工程。Lucene的取名来自于Doug Cutting的妻子的名字。
总的来说,Lucene有以下几个特点:
1.高效、可扩展、开源的全文检索引擎工具包
2.Java实现,无须配置
3.仅支持纯文本文件的索引(Indexing)和搜索(Search)
4.不负责由其他格式的文件抽取纯文本文件,或从网络中抓取文件的过程
在《Lucene in action》中,Lucene的架构和过程如下图所示:
说明Lucene是有索引和搜索的两个过程,包含索引创建、索引、搜索三个要点。让我们更细一些看Lucene的各组件。
1.被索引的文档用Document对象表示
2.IndexWriter通过函数addDocument将文档添加到索引中,实现创建索引的过程
3.Lucene的索引是反向索引
4.当用户查询请求时,Query代表用户查询语句
5.IndexSearcher通过函数search搜索Lucene Index
6.IndexSearcher计算Term Weight和Score并且将结果返回给用户
7.返回给用户的文档集合用TopDocsCollector表示
那么,如何应用这些组件呢?让我们再详细到对Lucene API的调用实现索引和搜索过程。
一、索引创建过程如下:
1.创建一个IndexWriter用来写索引文件,它有几个参数,INDEX_DIR就是索引文件存放的位置,Analyzer便是用来对文档进行分析和语言处理的分词器。
2.创建一个Document代表我们要索引的文档。
3.将不同的Field加入到文档中。我们知道,一篇文档有多种信息,如题目、作者、内容、修改时间等。不同类型的信息用不同的Field来表示,在本例中,一共有两类信息进行了索引,一个是文件路径path,一个是文件内容contents。其中FileReader的SRC_FILE就表示要索引的源文件。
4.IndexWriter调用函数addDocument将索引写入到索引文件夹中。
二、搜索过程如下:
1.IndexReader将磁盘上的索引信息读入到内存,INDEX_DIR就是索引文件存放的位置。
2.创建IndexSearch准备进行搜索。
3.创建Analyer用来对查询语句进行词法分析和语言处理。
4.创建QueryParser用来对查询语句进行语法分析。
5.QueryParser调用parser进行语法分析,形成查询语法树,放到Query中。
6.IndexSearcher调用search对查询语法树Query进行搜索,得到结果TopScoreDocCollector。
以上便上Lucene API函数的简单调用。宏观上来讲,Lucene的索引和搜索流程如下图所示:
然而当进入Lucene的源代码后,发现Lucene有很多包,关系错综复杂。通过下图,我们不难发现,Lucene的各源代码模块,都是对普通索引和搜索过程的一种实现。下图取自《开放源代码的全文检索引擎Lucene》http://www.lucene.com.cn/about.htm。
1.Lucene的analysis模块主要负责词法分析及语言处理而形成Term
2.Lucene的index模块主要负责索引的创建,里面有IndexWriter
3.Lucene的store模块主要负责索引的读写
4.Lucene的QueryParser主要负责语法分析
5.Lucene的search模块主要负责对索引的搜索
6.Lucene的similarity模块主要负责对相关性打分的实现
PS:《Lucene in action》中的图是老了些,因其是针对lucene 1.4画的。详细到对Lucene API 的调用实现索引和搜索过程的图是lucene 2.9.0的API,现在Lucene 3.0已经出来了。《开放源代码的全文检索引擎Lucene》写的也比较早了,很经典的一篇文章,可以帮助我们了解一些全文检索的基本原理。
参考博文:先觉《Lucene3.0原理与代码分析》http://www.cnblogs.com/forfuture1978/archive/2010/02/22/1671487.html