Lucene和Solr原理初探

Lucene是一个全文搜索框架，而不是应用产品。因此它并不像http://www.baidu.com/ 或者google Desktop那样拿来就能用，它只是提供了一种工具让你能实现这些产品。实际上lucene的功能很单一，说到底，就是你给它若干个字符串，然后它为你提供一个全文搜索服务，告诉你你要搜索的关键词出现在哪里。

传统的关系型数据库搜索速度慢，性能差，其原因在于在查询数据时例如模糊查询“%like%”需要进行锁表操作，一行一行进行扫描，如果存在则返回结果。而Lucene利用了倒排索引、压缩算法和二元搜索 ，它会提前把你需要的结果准备好，等你查询时直接返回给你。那么它是如何知道你要搜索的是什么内容呢？它会对所有数据进行分析，找出可以搜索的关键词，并把与之相关的结果记录下来。

什么是倒排索引：根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(invertedindex)

lucene的工作方式 。lucene提供的服务实际包含两部分：一入一出。所谓入是写入，即将你提供的源（本质是字符串）写入索引或者将其从索引中删除；所谓出是读出，即向用户提供全文搜索服务，让用户可以通过关键词定位源

写入流程 ：源字符串首先经过analyzer处理，包括：分词，分成一个个单词；去除stopword（可选）。 将源中需要的信息加入Document的各个Field中，并把需要索引的Field索引起来，把需要存储的Field存储起来。 将索引写入存储器，存储器可以是内存或磁盘。

读出流程 ：用户提供搜索关键词，经过analyzer处理。 对处理后的关键词搜索索引找出对应的Document。用户根据需要从找到的Document中提取需要的Field。

document：用户提供的源是一条条记录，它们可以是文本文件、字符串或者数据库表的一条记录等等。一条记录经过索引之后，就是以一个Document的形式存储在索引文件中的。用户进行搜索，也是以Document列表的形式返回。

field ：一个Document可以包含多个信息域，例如一篇文章可以包含“标题”、“正文”、“最后修改时间”等信息域，这些信息域就是通过Field在Document中存储的。 Field有两个属性可选：存储和索引。通过存储属性你可以控制是否对这个Field进行存储；通过索引属性你可以控制是否对该Field进行索引。这看起来似乎有些废话，事实上对这两个属性的正确组合很重要。

Lucene和Solr的关系：它们就像是jdbc和hibernate的关系，Lucence是原生的搜索框架，Solr是封装的Lucene。Lucene长于进行英文的分词搜索，要进行中文分词可以使用Sphinx配合XunSearch