ElasticSearch29：初识搜索引擎_分词器的内部组成到底是什么以及内置分词器的介绍

1.分词器的内部组成

什么是分词器：切分词语，normalization（提升recall召回率）

给你一段句子，然后将这段句子拆分成一个一个的单词，同时对每个的单词进行normalization（时态转换，单复数转换等），分词器

recall召回率：搜索的时候，增加能够搜索到的结果的数量

分为三个部分

character filter，过滤，在一段文本分词之前，先进行预处理，如过滤html标签<span>123</span>转换未123，&--->and，

tokenizer：分词，如hello me分成hello和me单词

token filter：lowercase，stop word，synonymom，如dogs->dog,  Tom->tom,  a/the/an->干掉, mother->mom, small->little

一个分词器很重要，将一段文本进行处理，最后处理好的结果才会拿去做倒排索引。

2.内置分词器的介绍

Set the shape to semi-transparent by calling set_trans(5)

standard analyzer(标准分词器):set ,the ,shape,to,semi,transparent,by,calling,set_trans,5   ，可以看到，大小转小写，-去除，( )去除

simple analyzer(简单分词器):set, the ,shape,to,semi,transparent,by,calling,set,trans   ，可以看到大写转小写，-去除，（5）去除，_去除

whitespace analyzer（空格分词器）：Set,the,shape,semi-transparent,by,calling,set_trans(5)，可以看到是以空格进行分词

language analyzer（语言分词器，比如说英语分词器）：set,shape,semi,transpar,call,set_tran,5，可以看到大写转小写，the没有任何含义，被干掉了，以及一些拆分的,transparent转换成了transpar,calling转化时态call，等等

默认的分词器是standard analyzer（标准分词器）