lucene分词器的区别与选型

1、StandardAnalyzer标准分词器，以单个汉字作为分词截断，

分出的结果都是单个的汉子。

CJAnalyzer，CJ分词器是两两分词，且分词结果不包括英文。

就是以相连的两个汉字作为分词结果。上海自来水来自海上。分词结果是：上海 海自 自来 来水,,,

2、第三方分词器。

IKAnalyzer。IK分词器能将汉语的词语较好的分出来，当然也会分出来一些无意义的词语。

这个分词器有个弊端，就是对搜索结果不包括在他的分词结果里的搜索词，将搜不出任何结果。

有得就有失。建议不要使用。