ES学习——分析器和自定义分析器

最新推荐文章于 2024-07-05 15:19:18 发布

lkj41110

最新推荐文章于 2024-07-05 15:19:18 发布

阅读量2.5k

点赞数 3

分类专栏： ----elasticsearch es学习文章标签： ES 分析器自定义

本文链接：https://blog.csdn.net/qq_25673113/article/details/83445146

版权

本文介绍了Elasticsearch中的分析器工作原理，包括字符过滤器、分词器和词元过滤器。重点讲解了如何使用默认分析器、english分析器，并展示了自定义分析器的创建过程，通过实例演示了自定义分析器如何处理HTML内容、映射特殊字符、过滤停用词等。最后，说明了如何在字段上应用自定义分析器。

摘要由CSDN通过智能技术生成

简介

es在对文档进行倒排索引的需要用分析器(Analyzer)对文档进行分析、建立索引。从文档中提取词元（Token）的算法称为分词器（Tokenizer），在分词前预处理的算法称为字符过滤器（Character Filter），进一步处理词元的算法称为词元过滤器（Token Filter），最后得到词（Term）。这整个分析算法称为分析器（Analyzer）。

其工作流程：

先会使用字符过滤器CharacterFilters对文档中的不需要的字符过滤（例如html语言的<br/>等等）
用Tokenizer分词器大段的文本分成词（Tokens）（例如可以空格基准对一句话进行分词）
最后用TokenFilter在对分完词的Tokens进行过滤、处理（比如除去英文常用的量词：a，the，或者把去掉英文复数等）

我们可以使用_analyze来看es的分词是不是符合我们的预期目标，我们使用默认的分析器对下面这句话进行分析。结果包括token,起始的偏移量，类型和序号。我目前先只关注token即可。

GET /jindouwin_search_group/_analyze
{
  "text": "Her(5) a Black-cats" 
}

结果：

  "tokens": [
    {
      "token": "her",
      "start_offset": 0,
      "end_offset": 3,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "5",
      "start_offset": 4,
      "end_offset": 5,
      "type": "<NUM>",
      "position": 1