Lucene

Lucene是一个牛叉的全文检索引擎工具包。

工作流程：

创建索引 ->检索索引
创建索引过程：数据（Document） -> 分词技术（Analyzer） -> 索引创建（IndexWriter）
索引检索过程：搜索关键字（Keywords） -> 分词技术（Analyzer） -> 检索索引（search） -> 返回结果

文件结构

索引（Index） -> 段（Segment） -> 文档（Document） -> 域（Field） -> 词（Term）

数学模型

W=tf * log(n/df);

W：权重
tf：词元在文档中出现的次数
n：文档总数
df：多少篇文档包含此词元

把文档表示成权重的向量，建立空间向量模型。分为若干个维度，每一个维度代表一个词元。向量的夹角代表文章的相似度

创建索引

为了对文档进行索引，Lucene 提供了五个基础的类，他们分别是 Document, Field, IndexWriter, Analyzer, Directory。下面我们分别介绍一下这五个类的用途：

Document	Document 是用来描述文档的，这里的文档可以指一个 HTML 页面，一封电子邮件，或者是一个文本文件。一个 Document 对象由多个 Field 对象组成的。可以把一个 Document 对象想象成数据库中的一个记录，而每个 Field 对象就是记录的一个字段。
Field	Field 对象是用来描述一个文档的某个属性的，比如一封电子邮件的标题和内容可以用两个 Field 对象分别描述。
Analyzer	在一个文档被索引之前，首先需要对文档内容进行分词处理，这部分工作就是由 Analyzer 来做的。Analyzer 类是一个抽象类，它有多个实现。针对不同的语言和应用需要选择适合的 Analyzer。Analyzer 把分词后的内容交给 IndexWriter 来建立索引。
IndexWriter	IndexWriter 是 Lucene 用来创建索引的一个核心的类，他的作用是把一个个的 Document 对象加到索引中来。
Directory	这个类代表了 Lucene 的索引的存储的位置，这是一个抽象类，它目前有两个实现，第一个是 FSDirectory，它表示一个存储在文件系统中的索引的位置。第二个是 RAMDirectory，它表示一个存储在内存当中的索引的位置。