2.1 ElasticSearch分词之基本概念

1.简介
分词是指将文本转换为一系列单词的过程，也叫做文本分析，在elasticsearch里称为analysis，如将“elasticsearch是最流行的搜索引擎”这个文本分为elasticsearch、流行和搜索引擎三个单词。

2.分词器
elasticsearch中专门处理分词的组件称之为分词器，英文为analyzer，它由以下几个部分组成。

• character filters:针对原始文本进行处理，比如去除html标签
• tokenizer:将原始文本按照一定规则进行切分
• token filters:针对tokenizer处理过的单词进行再加工，比如大小写转换、助词(的、之、等等)的删除等

分词器的执行顺序是character filters、tokenizer和token filters。

3.自带的分词器
elasticsearch自带的分词器有standard、simple、whitespace、stop、keyword、pattern和language。下面以“The 2 QUICK Brown-Foxes jumped over the lazy dog’s bone.”文本为例，演示elasticsearch自带的分词器的分词效果。
(1).standard
特性为按词切分、小写处理，其分词结果为[the,2,quick,brown,foxes ,jumped,over,the,lazy,dog’s,bone]。

(2).simple
特性为按非字母切分、小写处理，其分词结果为[the,quick,brown,foxes ,jumped,over,the,lazy,dog,s,bone]。

(3).whitespace
特性为按空格切分，其分词结果为[the,2,QUICK ,Brown-Foxes ,jumped,over,the,lazy,dog’s,bone.]。

(4).stop
特性为按助词(the、an、的、这等)切分、小写处理，其分词结果为[quick,brown,foxes ,jumped,over,lazy,dog,s,bone]。

(5).keyword
特性为不分词，直接将输入作为一个单词输出，其分词结果为[The 2 QUICK Brown-Foxes jumped over the lazy dog’s bone.]。

(6).pattern
特性为通过正则表达式自定义分隔符(默认是\W+，即非字词的符号作为分隔符)、小写处理，其分词结果为[the,2,quick,brown,foxes, jumped,over, the,lazy,dog,s,bone]。

(7).language
特性为按语言(阿拉伯、英语等)切分。