Lucene初识之Analyzer

刚接触Lucene，虽然跑通了一个demo，但对很多东西还不了解。下面简单记录下对Analyzer的理解，以后再系统整理。后面来自Lucene官方文档，Lucene版本为4.10.0.欢迎感兴趣的同学一起学习交流，求大牛指导，我现在还有很多不明白的地方。

 包org.apache.lucene.analysis

将文本转换为可索引和检索的标记标记（token）。

Lucene，建索引和检索的库，只接受纯文本。

 

文本解析（Parsing）

基于Lucene的搜索应用可能会支持很多格式的文档，如pdf、word、excel，xml等。Lucene不关心具体的文档格式。应用开发者应当提供合适的文本解析器，将不同格式的文档转换成纯文本的形式。

 

标记化（Tokenization）

将纯文本进行Lucene建索引的时候要经历一个通常称之为“标记化”的过程。标记化是将纯文本解析成小的索引单元——标记（token）的过程。文本被解析成标记的方式，与之后的检索过程关联性很强。例如，句子的开头和结尾可以被识别从而提供更精确的短语，提高搜索结果的准确性（虽然Lucene本身不支持句子的识别）。

有时，仅仅将输入的文本简单的解析成标记是不够的，可能需要进一步的分析（Analysis）。Lucene提供了前置和后置标记化分析组件。

前置标记化分析可以包括（但不限于）去HTML标记，转换或移除文本匹配的模式或固定字符串。

后置标记化有很多步骤（但不限于）：

         提干——提取词的主干部分，如bikes可以被替换为bike，查询bike的结果同时包含bike和bikes

         过滤——英文中的the、a，汉语中的“的”等对检索结果可能并没有帮。去掉这些词可以减少索引空间，提高检索效率，或者降低噪音，从而提升搜索质量。

         文本规范化——去除“口音”和其他字符标记从而更好的检索。

         同义词扩展——在标记的位置添加同义词，在用户搜索同义词集的时候可能会更好的匹配。

 

核心解析（CoreAnalysis）

Lucene的Analysis包提供了将String和Reader转换成可索引的标记的原理，主要涉及四个类，分别是：

         Analyzer——负责创建TokenStream，在索引和搜索过程中用到。

         CharFilter——用来在Reader读取文本时，为前置标记化执行替换、删除或者添加操作。

Tokenizer——是一个TokenStream，用来将文本解析成标记，一般是Analysis的第一步。

TokenFilter——也是一个TokenStream，用来改变Tokenizer生成的一些标记。不是所有的Analyzer都需要TokenFilter。