ES学习——分析器和自定义分析器

简介

es在对文档进行倒排索引的需要用分析器(Analyzer)对文档进行分析、建立索引。从文档中提取词元（Token）的算法称为分词器（Tokenizer），在分词前预处理的算法称为字符过滤器（Character Filter），进一步处理词元的算法称为词元过滤器（Token Filter），最后得到词（Term）。这整个分析算法称为分析器（Analyzer）。

其工作流程：

1. 先会使用字符过滤器CharacterFilters对文档中的不需要的字符过滤（例如html语言的<br/>等等）
2. 用Tokenizer分词器大段的文本分成词（Tokens）（例如可以空格基准对一句话进行分词）
3. 最后用TokenFilter在对分完词的Tokens进行过滤、处理（比如除去英文常用的量词：a，the，或者把去掉英文复数等）
   
   我们可以使用_analyze来看es的分词是不是符合我们的预期目标，我们使用默认的分析器对下面这句话进行分析。结果包括token,起始的偏移量，类型和序号。我目前先只关注token即可。

GET /jindouwin_search_group/_analyze
{
  "text": "Her(5) a Black-cats" 
}

结果：

  "tokens": [
    {
      "token": "her",
      "start_offset": 0,
      "end_offset": 3,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "5",
      "start_offset": 4,
      "end_offset": 5,
      "type": "<NUM>",
      "position": 1