搜索引擎的设计与实现（二）技术选型--全文索引

全文索引其实贯穿于信息处理和Web子系统中，并不是只用于信息处理模块。前者负责读取文档，过滤信息，构造索引；后者，读取索引，利用算法进行相关性评价计算。

可以说，搜索引擎的核心就是全文索引。

目前使用较多的两种全文索引方式分别是：1.数据库做全文索引     2.索引文件

前者，有最为出名的，是使用C++编写的Sphinx；后者，有Java开源全文索引的老大--Lucene。

Sphinx是一个基于SQL的全文搜索引擎，且针对PHP、Python等脚本语言预留了接口。sphinx本身不支持中文分词，对分词库的支持较差。

而Lucene则更为强大，首先，是Java语言编写的，整合起来很方便。基于Lucene的优秀开源项目有Nutch、Solr、elasticsearch(前身是Compass)，其中Solr、elasticsearch都支持分布式。另外，Lucene对分词器的支持更好，自己也是发展了近10年的项目，有保障。

纯粹比较搜索速度，Sphinx是比Lucene快的。但是，Sphinx貌似不再支持实时更新索引，增量索引也更容易出现问题。所以Sphinx适用于准实时搜索，Lucene适用于实时搜索。

由于可能需要解析各类文档，且本人对Java更家熟悉，Lucene无疑是一个更好的选择。至