Lucene的分析过程

Lucene的分析过程

分析（Analysis）是指将域文本（Field）转换成项（Term）的过程，“项”是索引的最基本表示单元。分析器通过一系列操作（可能包括：提取单词，去除标点符号，字段转换成小写<称之为规范化>，词干还原等），这个处理的过程称之为语汇单元化过程（tokenization），从文本流（Reader）中提取的文本块成为语汇单元（token），语汇单元与域名结合后，就形成了项（Term）。

何时使用分析器

任何需要将文本转换成项的过程都将使用到分析器，对Lucene来说，建立索引和搜索这两个过程都将用到分析器。例如：对于文本”use an implementation provided Flow library”生成的语汇单元序列可能是：
[use] [implementation] [provide] [flow] [library]

索引过程分析

索引期间，文档域值包含的文本信息需要被转换成语汇单元，

语汇单元的构成

以“the quick brown fox”为例，该文本每个语汇单元都表示一个独立了的单词，一个语汇单元包含了一个文本值（单次本身）和其他的元数据，比如：原是文本从起点到终点的偏移量，语汇单元的类型，位置增量。

词汇单元转换成项

在索引过程中进行分析后，每个语汇单元都作为一个项被传递给索引，、

TokenStream

TokenStream称之为语汇单元流，能在被调用后产生语汇单元序列的类，TokenStream有两个子类Tokenizer和TokenFilter。TokenFilter使用了组合模式，它封装了另外一个TokenStream类。

• Tokenizer负责从java.io.Reader读取字符并创建语汇单元
• TokenFilter负责处理输入的语汇单元，通过新增、删除或修改词汇单元来产生新的语汇单元。

 public abstract class TokenFilter extends TokenStream {
 /** The source of tokens for this filter. */
 protected final TokenStream input;

 /** Construct a token stream filtering the given input. */
 protected TokenFilter(TokenStream input) {
   super(input);
   this.input = input;
 }

Analyzer与Tokenizer

Analyzer有个抽象的createComponents方法，返回的TokenStreamComponents对象会递归的处理词汇单元（token），因为TokenStreamComponents就是对Tokenizer的封装，也就是说在分析过程中，Analyzer最终是通过Tokenzier来产生词汇单元（token）的。也就是说，Analyzer和Tokenizer是配对使用的。比如：

public final class WhitespaceAnalyzer extends Analyzer {

  private final Version matchVersion;

  /**
   * Creates a new {@link WhitespaceAnalyzer}
   * @param matchVersion Lucene version to match See {@link <a href="#version">above</a>}
   */
  public WhitespaceAnalyzer(Version matchVersion) {
    this.matchVersion = matchVersion;
  }

  @Override
  protected TokenStreamComponents createComponents(final String fieldName,
      final Reader reader) {
    //whitespaceAnalyzer会调用WithespaceTokenizer生成TokenStreamComponent
    return new TokenStreamComponents(new WhitespaceTokenizer(matchVersion, reader));
  }
}

实例：

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.core.LowerCaseTokenizer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.util.Version;

import java.io.Reader;

/**
 * Created by liuzhijun on 2014/8/6.
 */
public class SimpleAnalyzer extends Analyzer {

    @Override
    protected TokenStreamComponents createComponents(String fieldName, Reader reader) {
        return new TokenStreamComponents(new LowerCaseTokenizer(Version.LUCENE_4_9, reader));
    }

    public static void main(String[] args) throws Exception{

        SimpleAnalyzer simpleAnalyzer = new SimpleAnalyzer();
        TokenStream ts = simpleAnalyzer.tokenStream("title", "this is AN title");
        ts.reset();
        CharTermAttribute term = ts.getAttribute(CharTermAttribute.class);
        while(ts.incrementToken()){
            System.out.println("["+term+"]");
        }

    }
}

在solr schema.xml文件中即可以仅指定Analyzer：

<fieldtype name="nametext" class="solr.TextField">
  <analyzer class="org.apache.lucene.analysis.WhitespaceAnalyzer"/>
</fieldtype>

也可以直接指定TokenizerFactory来产生词汇单元（token），这种方式处理文本的时候更加精细：

<fieldtype name="text" class="solr.TextField">
  <analyzer>
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.StopFilterFactory"/>
    <filter class="solr.PorterStemFilterFactory"/>
  </analyzer>
</fieldtype>

参考：https://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters