本文介绍了Elasticsearch中常用的分词器，如standard、whitespace、simple、stop、keyword、pattern、language、snowball等，并详细讲解了IKAnalyzer的特性，包括最大词长切分和最小词长切分模式，以及如何添加自定义词库。此外，还提及了pinyin分词器，用于拼音匹配。
standard
处理英文能力强
他会将词汇单元转换成小写形式，并去除停用词和标点符号
对于非英文按单字切分
whitespace
空格分析器
针对英文，仅去除空格，没有其他任何处理
不支持非英文
simple
针对英文，通过非字母字符分割文本信息，然后将词汇单元统一为小写形式
数字类型的字符会被去除
stop
StopAnalyzer 的功能超越了 SimpleAnalyzer
在 SimpleAnalyzer 的基础上增加了去除英文中的常用单词(如 the，a 等)，也可以更加自己的需要设置常用单词
不支持中文
keyword
KeywordAnalyzer 把整个输入作为一个单独词汇单元，不会对文本进行任何拆分
通常是用在邮政编码、电话号码等需要全匹配的字段上
pattern
查询文本会被自动当做正则表达式处理，生成一组 terms 关键字，然后在对 Elasticsearch 进行查询
language
一个用于解析特殊语言文本的 analyzer 集合
包括：arabic,armenian, basque, brazilian, bulgarian, catalan, cjk, czech, danish, dutch, english, finnish, french,galician, german, greek, hindi, hungarian, indonesian, irish, italian, latvian, lithuanian, norwegian,persian, portuguese, romanian, russian,
最低0.47元/天 解锁文章
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
