ElasticSearch:为中文分词器增加对英文的支持（让中文分词器可以处理中英文混合文档）

本文地址，需转载请注明出处：

http://blog.csdn.net/hereiskxm/article/details/47441911

当我们使用中文分词器的时候，其实也希望它能够支持对于英文的分词。试想，任何一个存储文字的字段都有可能是中英文夹杂的。

我们的项目中使用IKAnalyzer作为中文分词器，它在处理文档过程中遇到英文时，利用空格和标点将英文单词取出来，同时也会对其转全小写处理。其实这和真正的英文分词已经很接近了，只有一墙之隔：词干提取。一个真正的英文分词器除了分割提取单词和全小写处理以外，还会把单词回溯成词根。

比如说有一个句子：

I like cats!

它的正确分词为：

[i, like, cat]

词根化是一个英文分词器需要具备的功能。IKAnalyzer正是缺少了这点，它对例句的处理结果会是：[i, like, cats]，这显然不是我们想要的：我们希望用 “cat” 和“cat