Lucene

 Lucene 是一个全文搜索的框架，是apache组织的一个用java实现全文搜索引擎的开源项目。总的来说，Lucene主要做两件事：建立索引和进行搜索。

 

Lucene中的常用概念：

                                       Analyze：分析器，它的作用是把一个字符串按某种规则划分成一个个词语，并去除其中无效的词语。

                                       Document：用户提供的源是一条条记录，它们可以是文本文件、字符串、或者数据库表的一条记录等等。一条记录经过索引之后，就是以一个Document的形式存储在索引文件中的，用户进行搜索，也是以Document列表的形式返回。

                                       Field：有两属性可选，存储和索引。通过存储属性可以控制是否对这个Field进行存储;通过索引属性可以控制是否对该Field进行索引。一个Document可以包含多个信息域，如一篇文章可以包含“标题”、“正文”、“最后修改时间”等信息域，这些信息就是通过Field在Document中存储。一个Document中包括多个Field。

                                     Term：是搜索的最小单位，它表示Document的一个词语，term由两部们组成：词语和这词语所出现的Field。

                                     Tocken：tocken是term的一次出现，它包含term文本和相应的起止偏移，以及一个类型字符串。一句话中可以出现多次相同的词语，它们都用同一个term表示，但是用不同的tocken，每个tocken标记该词语出现的地方。

                                      Segment：添加索引时并不是每个document都马上添加到同一个索引文件，它们首先被写入到不同的小文件，然后再合并成一个大索引文件，这里每个小文件都是一个segment。

 

Lucene中常用的类：

                                   IndexWriter：lucene中最重要的的类之一，它主要是用来将Document加入索引，同时控制索引过程中的一些参数使用。

                                   Analyzer:分析器,主要用于分析搜索引擎遇到的各种文本。常用的有StandardAnalyzer分析器,StopAnalyzer分析器,WhitespaceAnalyzer分析器等。

                                   Directory:索引存放的位置;lucene提供了两种索引存放的位置，一种是磁盘，一种是内存。一般情况将索引放在磁盘上；相应地lucene提供了FSDirectory和RAMDirectory两个类。

                                   Document:文档;Document相当于一个要进行索引的单元，任何可以想要被索引的文件都必须转化为Document对象才能进行索引。

                                   Field：字段。

                                   IndexSearcher:是lucene中最基本的检索工具，所有的检索都会用到IndexSearcher工具。

                                   Query:查询，lucene中支持模糊查询，语义查询，短语查询，组合查询等等,如有TermQuery,BooleanQuery,RangeQuery,WildcardQuer等一些类。

                                   QueryParser: 是一个解析用户输入的工具，可以通过扫描用户输入的字符串，生成Query对象。

                                    Hits:在搜索完成之后，需要把搜索结果返回并显示给用户，只有这样才算是完成搜索的目的。在lucene中，搜索的结果的集合是用Hits类的实例来表示的。

 

全文检索使用的理由全文检索使用的理由全文检索使用的理由全文检索使用的理由：：：：执行模糊查询都需要对全表扫描或索引扫描意味着消耗大量IO，如果模糊查询经常发生，会造成数据库性能恶化。（当然不一定非得是对大文件的检索，字段的模糊检索也是如此） 通常比较厚的书籍后面常常附关键词索引表（比如：北京：12, 34页， 上海：3,77页……），它能够帮助读者比较快地找到相关内容的页码。而数据库索引能够大大提高查询的速度原理也是一样，想像一下通过书后面的索引查找的 速度要比一页一页地翻内容高多少倍……而索引之所以效率高，另外一个原因是它是排好序的。对于检索系统来说核心是一个排序问题。 由于数据库索引不是为全文索引设计的，因此，使用like "%keyword%"时，数据库索引是不起作用的，在使用like查询时，搜索过程又变成类似于一页页翻书的遍历过程了，所以对于含有模糊查询的数据库 服务来说，LIKE对性能的危害是极大的。如果是需要对多个关键词进行模糊匹配：like"%keyword1%" and like "%keyword2%" ...其效率也就可想而知了

http://wenku.baidu.com/view/c474bd6f561252d380eb6ea7.html