Elasticsearch之Analyzer分词器介绍

最新推荐文章于 2024-07-05 15:19:18 发布
最新推荐文章于 2024-07-05 15:19:18 发布
阅读量2.4k 收藏 4
点赞数 2
分类专栏： Elasticsearch 文章标签： elasticsearch 搜索引擎 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44692700/article/details/122074246
版权

Elasticsearch之Analyzer分词器介绍

Analysis

Analysis文本分析，也叫分词，是把全文本转换为一系列单词的过程。

Analyzer叫做分词器。Analysis是通过Analyzer来实现的，ES当中内置了很多分词器，同时我们也可以按需定制化分词器。

分词器的作用，除了在数据写入时对需要分词的字段进行词条切分转换，同时匹配Query语句的时候也需要使用相同的分词器对查询语句进行分析。

例如：
Elasticsearch is fun这个文本就会被分词器切分成，elasticsaerch、is、fun三个单词。

Analyzer的组成

通常Analyzer由三个部分组成。

  1. Character Filters：针对原始文本处理，例如去除html标签等。
  2. Tokenizer：按照一定的规则，对字符串进行切分单词。
  3. Token Filter：将切分的单词进行加工、大小写转换、删除stopwords、增加同义词等。

ES中内置的分词器

  • Standard Analyzer：默认分词器，按词切分，小写处理
  • Simple Analyzer：按照非字母切分（符号被过滤），小写处理
  • Stop Analyzer：小写处理，停用词过滤器（the、a、is等）
  • Whitespace Analyzer：按照空格切分，不转小写
  • Keyword Analyzer：不分词，直接将输入当作输出
  • Patter Analyzer：正则表达式，默认\W+(非字符分割)
  • Language：提供了30多种常见语言的分词器
  • Customer Analyzer：自定义分词器

Analyzer的使用

我们可以直接指定Analyzer进行分词测试。

举例：比如我们现在要查看一下ES是如何进行分词的。

GET /_analyze
{
  "analyzer": "standard",
  "text":"Elasticsearch is fun"
}

返回如下，可以看到分词结果。token表示分词的单词，start_offset表示单词在文档中的开始位置，end_offset表示单词在文档中的结束位置，type表示单词的类型（文本/数字…），position表示单词在文档中的位置。

{
  "tokens" : [
    {
      "token" : "elasticsearch",
      "start_offset" : 0,
      "end_offset" : 13,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "is",
      "start_offset" : 14,
      "end_offset" : 16,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "fun",
      "start_offset" : 17,
      "end_offset" : 20,
      "type" : "<ALPHANUM>",
      "position" : 2
    }
  ]
}

我们也可以指定索引的字段来进行分词测试，可以看到这个字段是如何对文本进行分词的。

比如我们要指定索引index中的字段comment字段来进行分词测试，发起请求如下：

post index/_analyze
{
  "field":"comment",
  "text":"ES真好玩"
}

可以看到把我们输入的文本进行了分词处理。

{
  "tokens" : [
    {
      "token" : "es",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "真",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "好",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    {
      "token" : "玩",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<IDEOGRAPHIC>",
      "position" : 3
    }
  ]
}

我们也可以自定义分词器进行测试

post /_analyze
{
  "tokenizer":"standard",
  "filter":["lowercase"],
  "text":"Elasticsearch is FUN"
}

{
  "tokens" : [
    {
      "token" : "elasticsearch",
      "start_offset" : 0,
      "end_offset" : 13,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "is",
      "start_offset" : 14,
      "end_offset" : 16,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "fun",
      "start_offset" : 17,
      "end_offset" : 20,
      "type" : "<ALPHANUM>",
      "position" : 2
    }
  ]
}

几种分词器介绍

Standard Analyzer

Standard Analyzer是ES中默认的分词器，它有几个规则：

  1. 按照单词进行切分
  2. 小写处理
  3. 它的Stop（词过滤器，is、the等）默认是关闭的。

在这里插入图片描述

GET /_analyze
{
  "analyzer": "standard",
  "text":" 1 Elasticsearch is FUN5."
}

{
  "tokens" : [
    {
      "token" : "1",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<NUM>",
      "position" : 0
    },
    {
      "token" : "elasticsearch",
      "start_offset" : 3,
      "end_offset" : 16,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "is",
      "start_offset" : 17,
      "end_offset" : 19,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "fun5",
      "start_offset" : 20,
      "end_offset" : 24,
      "type" : "<ALPHANUM>",
      "position" : 3
    }
  ]
}

可以看到standard分词器，就是按照空格进行分词，没有过滤掉is这种关键字，并且没有过滤掉数字等。

Simple Analyzer

  1. 按照非字母切分，非字母的都会被去除
  2. 小写处理

在这里插入图片描述

GET /_analyze
{
  "analyzer": "simple",
  "text":" 1 Elasticsearch is FUN511asd."
}

{
  "tokens" : [
    {
      "token" : "elasticsearch",
      "start_offset" : 3,
      "end_offset" : 16,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "is",
      "start_offset" : 17,
      "end_offset" : 19,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "fun",
      "start_offset" : 20,
      "end_offset" : 23,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "asd",
      "start_offset" : 26,
      "end_offset" : 29,
      "type" : "word",
      "position" : 3
    }
  ]
}

可以看到Simple分词器，把最后单词FUN511asd中的进行了切分，切分成fun和asd（这里不仅仅是数字，只要是非字母都会切分、符号等），并且全部转小写处理。

Stop Analyzer

  1. 按照非字母切分，非字母的都会被去除
  2. 小写处理
  3. 多了stop filter，会将is、a、the等关键词去除
    在这里插入图片描述
GET /_analyze
{
  "analyzer": "stop",
  "text":" 1 Elasticsearch is FUN511asd."
}

{
  "tokens" : [
    {
      "token" : "elasticsearch",
      "start_offset" : 3,
      "end_offset" : 16,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "fun",
      "start_offset" : 20,
      "end_offset" : 23,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "asd",
      "start_offset" : 26,
      "end_offset" : 29,
      "type" : "word",
      "position" : 3
    }
  ]
}

可以看到stop除了有simple的功能，还将一些关键词，比如is进行了去除

Whitespace Analyzer

  1. 按照空格进行切分

在这里插入图片描述

GET /_analyze
{
  "analyzer": "whitespace",
  "text":" 1 Elasticsearch is FUN511asd."
}

{
  "tokens" : [
    {
      "token" : "1",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "Elasticsearch",
      "start_offset" : 3,
      "end_offset" : 16,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "is",
      "start_offset" : 17,
      "end_offset" : 19,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "FUN511asd.",
      "start_offset" : 20,
      "end_offset" : 30,
      "type" : "word",
      "position" : 3
    }
  ]
}

Keyword Analyzer

  1. 不进行分词，直接将输入当作一个term输出

在这里插入图片描述

GET /_analyze
{
  "analyzer": "keyword",
  "text":" 1 Elasticsearch is FUN511asd."
}

{
  "tokens" : [
    {
      "token" : " 1 Elasticsearch is FUN511asd.",
      "start_offset" : 0,
      "end_offset" : 30,
      "type" : "word",
      "position" : 0
    }
  ]
}

Pattern Analyzer

  1. 通过正则表达式进行分词
  2. 默认是\W+，非字符的符号进行分割

在这里插入图片描述

GET /_analyze
{
  "analyzer": "pattern",
  "text":" 1 Elasticsearch is FUN511asd-a."
}

{
  "tokens" : [
    {
      "token" : "1",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "elasticsearch",
      "start_offset" : 3,
      "end_offset" : 16,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "is",
      "start_offset" : 17,
      "end_offset" : 19,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "fun511asd",
      "start_offset" : 20,
      "end_offset" : 29,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "a",
      "start_offset" : 30,
      "end_offset" : 31,
      "type" : "word",
      "position" : 4
    }
  ]
}

可以看到FUN511asd-a被分成了fun511asd和a

Language Analyzer

可以指定不同的语言进行分词，比如English.

GET /_analyze
{
  "analyzer": "english",
  "text":"ES真是太好玩了，Elasticsearch is FUN-fun"
}

但是对于中文来说，分词器就有了一些特定的难点：

  1. 一个句子，要被切分成一个个单词，而不是一个个的字。
  2. 在英文中，单词有空格进行分割，中文没有
  3. 一句中文，在不同的上下文语言环境中，有不同的意思
  4. 几句中文可能表达的是相同的意思，但是分词不同

我们可以安装不同的中文分词器
比如：
ICU Analyzer
IK-支持自定义词库，支持热更新分词字典
THULAC

程大帅气
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Elasticsearch的分词器analyzer介绍
sichixi8218的博客
03-11 959
ES分词器 分词器使用的两个情形： 1，Index time analysis. 创建或者更新文档时，会对文档进行分词 2，Search time analysis. 查询时，对查询语句分词 指定查询时使用哪个分词器的方式有： - 查询时通过analyzer指定分词器 GET test_index/_search { "query": { "match": { "name": { "query": "li", ...
Elasticsearch: analyzer
Elastic 中国社区官方博客
09-03 8405
如果大家之前看过我写的文章“开始使用Elasticsearch （3）”，在文章的最后部分写了有关于analyzer的有关介绍。在今天的文章中，我们来进一步了解analyzer。 analyzer执行将输入字符流分解为token的过程，它一般发生在两个场合： 在indexing的时候，也即在建立索引的时候 在searching的时候，也即在搜索时，分析需要搜索的词语 什么是analysis...
Elasticsearch之Analyze（分析过程）
热门推荐
飞飞好奇的专栏
02-28 1万+
_analyze是Elasticsearch一个非常有用的API，它可以帮助你分析每一个field或者某个analyzer/tokenizer是如何分析和索引一段文字。 返回结果字段含义： token是一个实际被存储在索引中的词 position指明词在原文本中是第几个出现的 start_offset和end_offset表示词在原文本中占据的位置。 1、默认analyzer GET /_anal...
Elasticsearch 分析器（Analyzer）的作用和配置
最新发布
Dxy1239310216的博客
07-05 1075
当默认分析器无法满足需求时，可以创建自定义分析器。自定义分析器允许用户指定字符过滤器、分词器和标记过滤器的组合，以实现特定的文本处理逻辑。},在这个示例中，我们创建了一个名为的自定义分析器，它使用了自定义的分词器，以及内置的html_strip字符过滤器和lowercase标记过滤器。分词器使用正则表达式\s+来按空格切分文本。Elasticsearch的分析器是文本处理的核心组件，它决定了文本在搜索和索引中的表示方式。通过合理配置分析器，可以显著提高搜索的准确性和效率。
ElasticSearch7学习笔记之用Analyzer分词
四国棋客
12-13 1489
定义 Analyzer是es中专门用来处理分词的组件，由三部分组成： Character Filters：针对原始文本的处理，例如去除html等 Tokenizer：按照规则进行分词 Token Filter：将切分的单词进行加工，例如去除修饰性单词等 分词器种类 StandardAnalyzer 这是默认分词器，按词切分，将字母转换为小写，默认关闭终止词。 使用方法如下： GET /_analyze { "analyzer": "standard", "text": "It`s a good
ES 分词器
tian830937的专栏
01-28 1697
顾名思义，文本分析就是把全文本转换成一系列单词（term/token）的过程，也叫分词。在 ES 中，Analysis是通过分词器（Analyzer） 来实现的，可使用 ES 内置的分析器或者按需定制化分析器。举一个分词简单的例子：比如你输入 Mastering Elasticsearch，会自动帮你分成两个单词，一个是 mastering，另一个是 elasticsearch，可以看出单词也被转化成了小写的。
ES---分词器
shall潇の菜园
03-17 3642
ES—分词器 转载链接：https://www.cnblogs.com/qdhxhz/p/11585639.html
ElasticSearch 实战： ES 分析 ( Analysis )
qq_33240556的博客
04-06 866
Elasticsearch 分析（Analysis）是 Elasticsearch 全文搜索功能的核心组成部分，它负责将文本数据转换成可搜索的索引项。分析过程中涉及文本的预处理、分词、过滤、标记化等步骤，使得用户能够有效地对文本内容进行查询、筛选和聚合。通过上述实战指南，您可以了解如何在 Elasticsearch 中定义、使用和测试分析器，以满足特定文本数据的索引和搜索需求。: 默认的全文分析器，适用于大多数西方语言。词语过滤器对分词后的词汇单元进行进一步处理，如大小写转换、词形还原、同义词扩展等。
Elasticsearch Analyzer 内置分词器
qq_34285557的博客
11-04 2034
Elasticsearch Analyzer 内置分词器 篇主要介绍一下 Elasticsearch中 Analyzer 分词器的构成 和一些Es中内置的分词器 以及如何使用它们 前置知识 es 提供了 analyze api 可以方便我们快速的指定 某个分词器 然后对输入的text文本进行分词 帮助我们学习和实验分词器 POST _analyze { "analyzer": "standard", "text": "Th
Elasticsearch从入门到项目部署 安装 分词器 索引库操作
我亦无他，唯手熟尔
12-11 466
Elasticsearch是一个基于Apache Lucene库实现的，Restful风格的，分布式搜索和数据分析引擎。基于倒排索引技术，实现了高性能的全文检索和数据分析功能。官方网站如下： 本章我们就一起来初步了解一下Elasticsearch的基本原理和一些基础概念。 1.1.倒排索引 elasticsearch之所以有如此高性能的搜索表现，正是得益于底层的倒排索引技术。那么什么是倒排索引呢？ 倒排索引的概念是基于MySQL这样的正向索引而言的。
【ES实战】ES分词器介绍
coding and writing
02-24 8608
ES 分词器概念介绍
ElasticSearch各种分词器
ChinaCR07的博客
01-05 3802
1. ES分词器 分词器是专门处理分词的组件，Analyzer由三部分组成：Character Filters、Tokenizer、Token Filters。 Character Filters：对文本原始处理，如去除html， Tokenizer：按照分词器规则进行切分单词， Token Filters：将切分后的单词进行加工，小写，删除空格，增加同义词等。 2. ES内置的分词器 2...
es 中分析器分词器设置
weixin_43632687的博客
12-29 996
es 分析器
ES之分析器(Analyzer)
u011250186的博客
07-10 5208
ES-分词器(Analyzer)
ElasticSearch入门 第七篇：分词
albh81462的博客
05-08 501
这是ElasticSearch 2.4 版本系列的第七篇： ElasticSearch入门 第一篇：Windows下安装ElasticSearch ElasticSearch入门 第二篇：集群配置 ElasticSearch入门 第三篇：索引 ElasticSearch入门 第四篇：使用C#添加和更新文档 ElasticSearch入门 第五篇：使用C#查询文档 Elas...
橘子学ES09之分词以及各大分词器
liuwenqiang1314的博客
07-10 4444
ES的核心就是分词。
ES配置文本分析器
usiel的博客
08-09 653
默认的，Elasticsearch对于所有文本分析使用标准文本分析器，标准分析器为大多数自然语言和用例提供开箱即用的支持。如果您选择按原样使用标准分析器，则不需要进一步配置。 如果标准分析器不能满足您的需求，请检查和测试Elasticsearch的其他内置分析器。内置的分析器不需要配置，但是一些支持选项可以用来调整它们的行为。例如，可以使用要移除的自定义停止词列表配置标准分析器。 如果没有内置分析器满足您的需求，您可以测试并创建一个自定义分析器。自定义分析器包括选择和组合不同的分析器组件，使您对过程有更大的
es（Elasticsearch) -- 映射参数解析
阿华田的博客
09-24 1313
1.analyzer 功能：给文本字段设置分词器。默认对索引和查询都是有效的 使用案例： PUT blog { "mappings": { "properties": { "title":{ "type":"text", "analyzer": "ik_smart" } } } } 2.search_analyzer 功能：设置查询时候的分词器。默认情况下，如果没有配置 search_analyzer，则查询时，
Elasticsearch集成IK分词器
08-05
要在Elasticsearch中集成IK分词器，需要进行以下步骤： 1. 下载IK分词器插件：访问IK分词器的GitHub仓库（https://github.com/medcl/elasticsearch-analysis-ik），下载与您使用的Elasticsearch版本相对应的插件压缩包。 2. 安装插件：将下载的插件压缩包解压缩到Elasticsearch插件目录下（例如，对于Elasticsearch7.x，解压缩到`<your-elasticsearch-directory>/plugins/ik`）。 3. 配置分词器：在Elasticsearch的配置文件中（`<your-elasticsearch-directory>/config/elasticsearch.yml`），添加以下配置： ```yaml # 设置分词器 analysis: analyzer: ik_max_word: type: "custom" tokenizer: "ik_max_word" ik_smart: type: "custom" tokenizer: "ik_smart" ``` 4.重启Elasticsearch：重新启动Elasticsearch使更改生效。 现在，您可以在Elasticsearch中使用IK分词器了。例如，在索引创建时，您可以指定使用IK分词器进行文本分析： ```bashPUT /my_index{ "settings": { "analysis": { "analyzer": { "my_ik_analyzer": { "type": "custom", "tokenizer": "ik_smart" // 或者使用ik_max_word } } } }, "mappings": { "properties": { "my_text_field": { "type": "text", "analyzer": "my_ik_analyzer" } } } } ``` 在搜索时，Elasticsearch将使用指定的分词器对文本进行分析和匹配。 希望这对您有所帮助！如果您还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程大帅气

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值