Lucene学习笔记

项目中用到了Lucene，学习过程中抽空记下笔记，以防备自己的好忘之心。

全文检索

数据分类
结构化数据：具有固定格式或有限长度的数据。比如数据库中的表。
非结构化的数据：不定长度或无固定格式的数据。比如邮件、word文档、网页这一类的数据。
半结构化数据：处于结构化数据和非结构化数据之间。比如xml、json数据。
像结构化数据，数据库我们采用sql语句来进行查询。非结构化数据一般采用顺序扫描和全文检索来查询，那么什么叫顺序扫描，就是从第一条一直检索到最后一条，然后把符合要求的结果返回回去，可想而知顺序扫描不论在资源上还是时间上都有一个很大的浪费。那么全文检索有一个什么样的过程呢？
下面我们来看这个幅图，这幅图在Lucene in action的各个版本中都有过出现。下面我们先看这幅图的左半部分，左半部分是结构化数据、非结构化数据以及半结构化数据通过Lucene来创建出索引文件，而这幅图的右半部分是通过用户检索的关键词检索我们的索引库，然后把结果返回给用户，在这幅图中起到一个很关键性的就是我们的索引。那么什么叫索引，在回答这个问题之前，让我们回想一下在我们上小学或者初中的时候都用过新华字典，在新华字典的前面会有拼音检索或者部首检索，我们可以通过这两个功能很快的查到我们要找的单词处在新华字典的多少页。其实索引和前面的说的新华字典是大同小异。

那么我们再来看另一幅图，这幅图表示Lucene这个词源在第一篇文档中和第三篇文档中出现过，而Hadoop这个词元则在第三、五、七、八、九篇文档中出现过。这幅图的左部分就相当于新华字典的拼音检索或者部首检索，而这幅图的右半部分文档的链表我们统一把它称之为倒排表，对于这一个整体的功能，我们把它称之为反向索引。那什么叫反向索引，这种由字符串到文件的映射是文件到字符串映射的反向过程。

全文检索，首先我们得先创建索引。创建索引我们把它分为三个过程，称之为创建索引的三部曲：需要检索的数据（Document）、分词技术（Analyzer）、索引创建（Indexer）。
下面我们看一个 创建索引事例：
第一部：Document事例数据：全文检索事例、Lucene案例开发、Lucene实时搜索。
第二部：分词技术（这里是标准分词）全|文|检|索|事|例、Lucene|案|例|开|发、lucene|实|时|搜|素。
我线介绍一下什么叫标准分词，标准分词对中文的分词技术就是把一个个的中文分成一个个独立的单词，而英文会把它转化成词根。那么我们看这个事例的分词技术，“全文检索事例”，我们把它转化一个个单独的单词、对于英文，我们把Lucene转化为了小写。
第三部：创建索引文件。

Term	ID	Term	ID	Term	ID
全	1	lucene	2	lucene	3
文	1	案	2	实	3
检	1	例	2	时	3
索	1	开	2	搜	3
事	1	发	2	索	3
例	1

上面这张表中“全文检索事例”在第一篇文档中出现过，lucene案例开发和lucene实时搜索分别在第二篇文档和第三篇文档中出现，而Lucene这个单词在表中出现两次，因而我们要对Lucene这个单词进行合并，如下图，而这张表就是我们所说的索引。

Term	ID	Term	ID	Term	ID
全	1	lucene	2>3	实	3
文	1	案	2	时	3
检	1	例	2	搜	3
索	1	开	2	索	3
事	1	发	2
例	1

索引我们已经创建好了，下面我们看怎么通过索引进行检索。
索引检索我们分为四个部分，我们称之为索引检索四部曲：搜索关键字（Keywords）、分词技术（Analyzer）、检索索引（Search）、返回结果。这里的分词技术要尽量和之前创建索引的分词技术相同。下面我们任然通过一个案例来理解索引检索的过程：
第一部：获取用户的搜索关键词。Lucene案例。
第二部：采用分词技术。lucene|案|例，这里的分词技术同样采用标准分词，因此“Lucene案例”被拆分为三个部分。
第三部：检索索引：“lucene”在第二篇和第三篇文档中出现，“案”在第二篇文档中出现，“例”在第二篇文档中出现，同时包含lucene、案、例这三个词源的是第二篇文档，所以将第二篇文档返回。
第四部：返回结果：“Lucene案例开发”。

Lucene数学模型

文档是Lucene索引和搜索的原子单位，文档为包含一个或多个域的容器，而域则依次包含“真正的”被搜索内容，域值通过分词技术处理，得到多个词元。
事例：一篇小说信息可以称为一个文档；小说信息又包含多个域，比如标题，作者、简介、最后更新时间等；对标题这一个域采用分词技术，又可以把标题分解成功一个或多个词元。也就是文档分为多个域，而域我们可以通过分词技术分为一个或多个词元。这里指出真正被搜索的是词元，那么来计算呢词元在文档中重要程度呢？
词元权重的计算
Term Frequency(tf)：即此Term在此文档中出现的次数，tf越大，说明该词元越重要。
Document Frequency(df)：即此多少文档包含此Term，df越大，说明该词元越不重要。
我们可以这样来理解，一个技术人员会的技术越多，说明其价值越大，那么一项技术会使用人越多，那么这项技术价值则越小。通过以上我们可以知道词元的权重与tf和df之间的关系，词元的权重与tf正比，与df成反比。
下面一个权重的公式：

$$W_{t,d}=tf_{t,d} \times log(\frac{n}{df_t})$$
$$W_{t,d}=$$ the weight of the term t in document d(词元t在文档d中的权重)
$$tf_{t,d}=$$ frequency of term t inn document d（词元t在文档d中出现的次数）
$$n=$$ total number of documents（索引中文档的总数）
$$df_t=$$ the number of document that conntain term t（有多少篇文档包含资源t）
在上面我们可以知道一篇文档可以分为多个词元，里面这个权重计算公式，我们又可以把词元转换成权重，这样一篇文档就可以表示成词元的权重。因此我们又可以把文档表示成权重的向量。
空间向量模型
在空间向量模型中，分为n个维度，每一个维度代表一个词元，维度n代表的意思是所有的文档分成的词元总数，那么一篇文档就可以在n维空间中表示成一个向量，那么我们可能会问一篇文档不包含term2，那么term2在文档中权重回事多少呢，很显然如果文档不包含Term2，那么Term2在这篇文档中的权重就是零。因此我们就可以把所有的文档都表示成这个空间的n维向量，那么我们又该如何基于这个空间向量进行检索呢？

索引的检索
对于用户的搜索词，我们采用同样的技术，把搜索词分成n个词元，然后依次计算词元的权重，把搜索词表示在这个n维向量空间模型中，这样我们就可以用它与文档之间的夹角来表示它们之间的相似度，这里我们选用夹角的余弦值作为相关性的打分，夹角越小余弦值越大打分越高，相关性也就越大，对于这样的空间向量模型，它不仅仅可以做全文检索，它还可以有其他的用途，比如说在语情领域分析中的语句情感分析，在数据挖局领域中的文本聚类和文本分类算法。
Lucene文件结构
层次结构
索引（Index）：一个索引放在一个文件加中。
段（Segment）：一个索引中可以有很多段，段与段之间是独立的，添加一个文档可能产生新段，不同的段可以合并成一个新段。
文档（Document）：文档是创建索引的基本单位，不同的文档保存在不同的段中，一个段可以包含多个文档。
域（Field）：一个文档包含不同类型的信息，可以拆分开索引。
词（Term）：词是索引的最小单位，是经过词法分析和语言处理后的数据。
正向信息：就是按层次保存了索引一直到词的包含关系：索引->段->文档->域->词
索引中包含了哪些段，每个段包含了哪些文档，每一篇文档包含了哪些域，每个域又包含了哪些词。
反向信息：反向信息保存了词典的倒排表映射：词->文档。