Elasticsearch分词器介绍

ES自带分词器有哪些？有哪些特点？

Standard Analyzer：

标准分词器，也是ES的默认分词器，按词切分，小写处理，默认停用词默认是关闭的。

Simple Analyzer：

按照非字母切分，非字母都会被去除，即只处理字母，小写处理。

Whitespace Analyzer:

按照空格切分。

Stop Analyzer：

相对于Simple Analyzer多了stop filter，会把is，a，the等无语义的词去除，即含有停用词。

Keyword Analyzer：

不分词，直接将输入的文档当做一个词输出。

Pattern Analyzer：

通过在空格进行分词的情况下进行正则表达式进行分词，默认是\W+，非字符的符号进行分割；含停用词和小写处理。

Language Analyzer：

针对不同的语言选择分词，例如english语言分词，会去除词性，如running分词结果为run，foxes分词结果为fox等；含有停用词处理。

中文词器：

ICU Analyzer：

      需要安装插件ElasticSearch-plugin install analysis-icu，由于提供了Unicode编码支持，能够更好地支持中文；Character Filter：Normalization，Tokenizer：ICU Tokenizer，Token Filters：Normalization，Folding，Collation，Transform。

IK Analyzer：

               支持自定义词库，支持热更新分词词典。https://github.com/medcl/elasticsearch-analysis-ik