【扬汤止沸，不如釜底抽薪】夜来风雨声，Lucene知多少？

我们生活中的数据总体分为两种：结构化数据和非结构化数据。

• 结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。
• 非结构化数据：指不定长或无固定格式的数据，如邮件，word文档等。

按照数据的分类，搜索也分为两种：

• 对结构化数据的搜索：如对数据库的搜索，用 SQL语句。再如对元数据的搜索，如利用
  windows 搜索对文件名，类型，修改时间进行搜索等。
• 对非结构化数据的搜索：如利用 windows 的搜索也可以搜索文件内容，Linux 下的 grep
  命令，再如用Google 和百度可以搜索大量内容数据。

对非结构化数据也即对全文数据的搜索主要有两种方法：
一种是顺序扫描法(Serial Scanning)：，比如要找内容包含某一个字符串的文件，就是一个文档一个文档的看，对于每一个文档，从头看到尾，如果此文档包含此字符串，则此文档为我们要找的文件，接着看下一个文件，直到扫描完所有的文件。
另一种方法是索引搜索法（Index Searching）。什么是索引呢？

从非结构化数据中提取出的然后重新组织的信息，我们称之索引。

全文检索大体分两个过程，索引创建(Indexing)和搜索索引(Search)。

全文检索就存在三个重要问题：Index + Indexing + Search

1. 索引里面究竟存些什么？(Index)
2. 如何创建索引？(Indexing)
3. 如何对索引进行搜索？(Search)

问题1：索引里面究竟存些什么？(Index)
倒排表，字符串到文件的映射（与传统的文件到字符串映射的过程相反）。

问题2：如何创建索引？(Indexing)
参考这里

1. 有一系列被索引文件
2. 被索引文件经过语法分析和语言处理形成一系列词(Term)。
3. 经过索引创建形成词典和反向索引表。
4. 通过索引存储将索引写入硬盘。

问题3：如何对索引进行搜索？(Search)

1. 用户输入查询语句。
2. 对查询语句经过语法分析和语言分析得到一系列词(Term)。
3. 通过语法分析得到一个查询树。
4. 通过索引存储将索引读入到内存。
5. 利用查询树搜索索引，从而得到每个词(Term)的文档链表，对文档链表进行交，差，并得 到结果文档。
6. 将搜索到的结果文档对查询的相关性进行排序。
7. 返回查询结果给用户。

墙裂推荐阅读下文

《Lucene原理与代码分析》