初识建立索引过程用的分词器和对同义词的处理

1.不同的分词器会对同一段文本进行不同的处理，形成不同的词汇集合，供检索之用；

常见的有4种分词器：标准分词器、停用词分词器、空格分词器、简单分词器

拆分后的每个分词都有自己的参数信息，比如它在原文本中的位置（偏移量）、它在词汇中的位置增量。

 

我们比较重视的是中文分词器。

mmseg4j的jar包中的MMSegAnalyzer和ComplexAnalyzer为我们提供了中文分词器

前者只能将文本拆分为2个汉字组成的词语，后者则能将文本拆分成较复杂的词语；

 

2.我们希望能通过分词的同义词也能检索到该段文本，那么在建立索引文件的时候该如何处理呢？

这里需要有一个同义词库，在对原始文本进行分词操作的时候对每一个分词判断有无对应的同义词，如果有的话，把其同义词追加其后，这样以来形成的索引文件就包含了分词的同义词信息。

从而使得，在通过某个词的同义词进行检索时，也能找到该文本。