day58_lucene详细

1.全文检索基础

1.1.我们身边的搜索功能

1.Windows系统中的有搜索功能：打开“我的电脑”，按“F3”就可以使用查找的功能，查找指定的文件或文件夹。搜索的范围是整个电脑中的文件资源。
2.Eclipse中的帮助子系统：点击HelpHelp Contents，可以查找出相关的帮助信息。搜索的范围是Eclipse的所有帮助文件。
3.在BBS、BLOG、新闻等系统中提供的搜索文章的功能，如这里的贴吧的例子。搜索的范围是系统内的文章数据（都在数据库中）。
4.搜索引擎，如Baidu或Google等，可以查询到互联网中的网页、PDF、
DOC、PPT、图片、音乐、视频等。下图是使用百度搜索的效果：

以上的查询功能都类似。都是查询的文本内容，都是相同的查询方式，即找出含有指定字符串的资源，不同的只是查询范围（分别为硬盘、所有帮助文件、数据库、互联网）。

1.2.什么是全文检索
全文检索是计算机程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当用户查询时根据建立的索引查找，类似于通过字典的检索字表查字的过程。

    对于搜索，按被搜索的资源类型，分为两种：可以转为文本的、多媒体类型。我们上一节提到的搜索功能都是搜索的可以转为文本的资源（第一种）。注意，百度或谷歌提供的音乐或视频搜索不是多媒体搜索，他们是按文件名搜索。在智能手机上有一款音乐搜索的软件，可以让他听10秒钟的音乐，然后他就能上网找出这段音乐的名称、演奏者等信息。这是多媒体搜索。

    按搜索的方式，上一节提到的搜索功能都是不处理语义，只是找出包含指定词的所有资源（只对词进行匹配）。下图就是显示“中国的首都是哪里”这个搜索要求对应的结果，可以看到，是没有“北京”这个结果的，结果页面都是出现了这些词的网页：

全文检索（Full-Text Retrieval）是指以文本作为检索对象，找出含有指定词汇的文本。全面、准确和快速是衡量全文检索系统的关键指标。

关于全文检索，我们要知道：
1，只处理文本。
2，不处理语义。
3，搜索时英文不区分大小写。
4，结果列表有相关度排序。
在信息检索工具中，全文检索是最具通用性和实用性的。

1.3.全文检索的应用场景
我们使用Lucene，主要是做站内搜索，即对一个系统内的资源进行搜索。
如BBS、BLOG中的文章搜索，网上商店中的商品搜索等。使用Lucene的项目有Eclipse、Jira等。一般不做互联网中资源的搜索，因为不易获取与管理海量资源（专业搜索方向的公司除外）。

所以，学完Lucene后我们就可以为自已的系统增加全文检索的功能。跟这个学习内容相关的练习为：为“传智手播客贴吧”增加搜索其中的文章的功能。

1.4.全文检索不同于数据库搜索
全文检索不同于数据库的SQL查询。（他们所解决的问题不一样，解决的方案也不一样，所以不应进行对比）。在数据库中的搜索就是使用SQL，如：SELECT * FROM t WHERE content like ‘%ant%’。这样会有如下问题：

1.匹配效果：如搜索ant会搜索出planting。这样就会搜出很多无关的信息。
2.相关度排序：查出的结果没有相关度排序，不知道我想要的结果在哪一页。我们在使用百度搜索时，一般不需要翻页，为什么？因为百度做了相关度排序：为每一条结果打一个分数，这条结果越符合搜索条件，得分就越高，叫做相关度得分，结果列表会按照这个分数由高到低排列，所以第1页的结果就是我们最想要的结果。
3.全文检索的速度大大快于SQL的like搜索的速度。这是因为查询方式不同造成的，以查字典举例：数据库的like就是一页一页的翻，一行一行的找，而全文检索是先查目录，得到结果所在的页码，再直接翻到这一页。

所以数据库搜索不能替代全文检索。

1.5.Lucene简介

全文检索就如同ORM，是一个概念。ORM的框架有很多种：Hibernate、TopLink、iBatis等，我们之前学习的是Hibernate。同样的，全文检索领域中也有多种框架，Lucene就是其中的一个用开源的全文检索框架。
Lucene的主页为：http://lucene.apache.org/。本文档中所使用的Lucene为3.0.1的版本。

2.第一个Lucene程序

2.1.准备Lucene的开发环境
搭建Lucene的开发环境只需要加入Lucene的Jar包，要加入的jar包至少要有：
lucene-core-3.0.1.jar（核心包）
contrib\analyzers\common\lucene-analyzers-3.0.1.jar（分词器）
contrib\highlighter\lucene-highlighter-3.0.1.jar（高亮）
contrib\memory\lucene-memory-3.0.1.jar（高亮）

2.2.实现建立索引功能（Indexer类）
2.3.实现搜索功能（Searcher类）

3.Lucene的核心概念

3.1.全文检索程序的工作流程

如果信息检索系统在用户发出了检索请求后再去互联网上找答案，根本无法在有限的时间内返回结果。所以要先把要检索的资源集合放到本地，并使用某种特定的结构存储，称为索引，这个索引的集合称为索引库。由于索引库的结构是按照专门为快速查询设计的，所以查询的速度非常快。我们每次搜索都是在本地的索引库中进行，如下图：

从图片[对于我们的应用程序，信息集合一般就是数据库表中的记录（文章，贴子、新闻等）或文件系统中的文件等，这些资源都可以方便、简单的获取到（使用SQL查询或遍历文件夹）。对于搜索引擎，搜索范围是整个互联网中的资源，这些资源就需要专门的工具来获取了，我们把实现这个功能的软件叫做爬虫或蜘蛛，或称做网络机器人。爬虫在互联网上访问每一个网页并把把其中的内容传回本地服务器。]上可以看出，我们不仅要搜索，还要保证数据集合与索引库的一致性。所以对于全文检索功能的开发，要做的有两个方面：索引库管理（维护索引库中的数据）、在索引库中进行搜索。而Lucene就是操作索引库的工具。

3.2 使用lucene的API操作索引库

索引库是一个目录，里面是一些二进制文件，就如同数据库，所有的数据也是以文件的形式存在文件系统中的。我们不能直接操作这些二进制文件，而是使用Lucene提供的API完成相应的操作，就像操作数据库应使用SQL语句一样。
对索引库的操作可以分为两种：管理与查询。管理索引库使用IndexWriter，从索引库中查询使用IndexSearcher。Lucene的数据结构为Document与Field。Document代表一条数据，Field代表数据中的一个属性。一个Document中有多个Field，Field的值为String型，因为Lucene只处理文本。
我们只需要把在我们的程序中的对象转成Document，就可以交给Lucene管理了，搜索的结果中的数据列表也是Document的集合。
有了这些概念，可以写HelloWorld了，其他的概念可以在写完HelloWorld后再进行说明。

3.3.索引库结构——倒排序索引

我们需要对文档进行预处理，建立一种便于检索的数据结构，以此来提高信息检索的速度，这种数据结构就是索引。目前广泛使用的一种索引方式是倒排序索引[说明：以下只是用于说明倒排序索引的结构，最终的索引结构要复杂的多（要考虑更多、更复杂的情况）。例如还要存储关键词在文本中的编号位置，或是首字母的字符位置等信息。]。
倒排序索引的原理就如同查字典。要先查目录，得到数据对应的页码，在直接翻到指定的页码。不是在文章中找词，而是从目录中找词所在的文章。这需要在索引库中生成一个词汇表（目录），在词汇表中的每一个条记录都是类似于“词所在文档的编号列表”的结构，记录了每一个出现过的单词，和单词出现的地方（哪些文档）。查询时先查词汇表，得到文档的编号，再直接取出相应的文档。

把数据转成指定格式放到索引库中的操作叫做建立索引。建立索引时，在把数据存到索引库后&#x