ElasticSearch学习（五）： 分词器

已于 2022-09-19 22:12:18 修改
阅读量1.8k 收藏 2
点赞数
分类专栏： 技术点 # elasticsearch 文章标签： elasticsearch 搜索引擎
于 2022-09-19 17:21:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40482816/article/details/126924409
版权

1、什么是Analysis 

        顾名思义，文本分析就是把全文本转换成一系列单词（term/token）的过程，也叫分词。

        在 ES 中，Analysis 是通过分词器（Analyzer） 来实现的，可使用 ES 内置的分析器或者按需定制化分析器。

2、分词器的组成：

        再简单了解了 Analysis 与 Analyzer 之后，让我们来看下分词器的组成：

   分词器Analyzer是专门处理分词的组件，分词器由以下三部分组成：

  1. Character Filters：针对原始文本处理，比如去除 html 标签；
  2. Tokenizer：按照规则将文本切分为单词，比如按照空格切分；
  3. Token Filters：将切分的单词进行加工，比如大写转小写，删除 stopwords，增加同义语。

执行流程如下：

 

      从图中可以看出，从左到右次经过 Character Filters，Tokenizer 以及 Token Filters，这个顺序比较好理解，一个文本进来肯定要先对文本数据进行处理，再去分词，最后对分词的结果进行过滤。

其中，ES 内置了许多分词器：

  • Standard Analyzer - 默认分词器，按词切分，小写处理
  • Simple Analyzer - 按照非字母切分（符号被过滤），小写处理
  • Stop Analyzer - 小写处理，停用词过滤（the ，a，is）
  • Whitespace Analyzer - 按照空格切分，不转小写
  • Keyword Analyzer - 不分词，直接将输入当做输出
  • Pattern Analyzer - 正则表达式，默认 \W+
  • Language - 提供了 30 多种常见语言的分词器
  • Customer Analyzer - 自定义分词器

3、Analyzer API

3.1、直接指定 Analyzer 进行测试

GET _analyze
{
    "analyzer": "standard",
    "text" : "Mastering Elasticsearch , elasticsearch in Action"
}

3.2、指定索引的字段进行测试

POST user/_analyze
{
    "field": "address",
    "text": "北京市"
}

3.3、自定义分词进行测试

POST _analyze
{
    "tokenizer": "standard",
    "filter": ["lowercase"],
    "text": "Mastering Elasticesearch"
}

4、ES分词器

4.1、Stamdard Analyzer

  1.  默认分词器
  2. 按词切分(基于词典)
  3. 切分后全部转换为小写
  4. 保留StopWords(停止词，如英文的in a the 等)

        它是 ES 默认的分词器，它会对输入的文本按词的方式进行切分，切分好以后会进行转小写处理，默认的 stopwords 是关闭的。

        stopwords说明：

        在信息检索中，停用词是为节省存储空间和提高搜索效率，处理文本时自动过滤掉某些字或词，这些字或词即被称为Stop Words（停用词）。停用词大致分为两类：

        一类是语言中的功能词，这些词极其普遍而无实际含义，比如“the”、“is“、“which“、“on”等。

        另一类是词汇词，比如'want'等，这些词应用广泛，但搜索引擎无法保证能够给出真正相关的搜索结果，难以缩小搜索范围，还会降低搜索效率。实践中，通常把这些词从问题中过滤，从而节省索引的存储空间、提高搜索性能。

        但是在实际语言环境中，停用词有时也有用的。比如，莎士比亚的名句：“To be or not to be.”所有的词都是停用词。特别当停用词和通配符(*)同时使用的时候，问题就来了：“the”、“is“、“on”还是停用词？

 4.1.1、英文分词

GET _analyze
{
  "analyzer": "standard",
  "text": "In 2022, Java is the best language in the world."
}

结果：

        可以看出是按词切分的方式对输入的文本进行了转换，比如对 Java 做了转小写，对一些停用词也没有去掉，比如 in。

        其中 token 为分词结果；start_offset 为起始偏移；end_offset 为结束偏移；position 为分词位置。

{
  "tokens" : [
    {
      "token" : "in",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "2022",
      "start_offset" : 3,
      "end_offset" : 7,
      "type" : "<NUM>",
      "position" : 1
    },
    {
      "token" : "java",
      "start_offset" : 9,
      "end_offset" : 13,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "is",
      "start_offset" : 14,
      "end_offset" : 16,
      "type" : "<ALPHANUM>",
      "position" : 3
    },
    {
      "token" : "the",
      "start_offset" : 17,
      "end_offset" : 20,
      "type" : "<ALPHANUM>",
      "position" : 4
    },
    {
      "token" : "best",
      "start_offset" : 21,
      "end_offset" : 25,
      "type" : "<ALPHANUM>",
      "position" : 5
    },
    {
      "token" : "language",
      "start_offset" : 26,
      "end_offset" : 34,
      "type" : "<ALPHANUM>",
      "position" : 6
    },
    {
      "token" : "in",
      "start_offset" : 35,
      "end_offset" : 37,
      "type" : "<ALPHANUM>",
      "position" : 7
    },
    {
      "token" : "the",
      "start_offset" : 38,
      "end_offset" : 41,
      "type" : "<ALPHANUM>",
      "position" : 8
    },
    {
      "token" : "world",
      "start_offset" : 42,
      "end_offset" : 47,
      "type" : "<ALPHANUM>",
      "position" : 9
    }
  ]
}

4.1.2、中文分词

        中文分词的效果，只是将中文语句分解为单个中文文字，没有词的概念，因此

Stamdard Analyzer分词器无法应对中文分词 。

GET _analyze
{
    "analyzer": "standard",
    "text" : "北京市"
}

分词结果：

{
  "tokens" : [
    {
      "token" : "北",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "京",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "市",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    }
  ]
}

4.2、Simple Analyzer

  1.  使用非英文字母进行分词；
  2. 分词后，非英文字母被删除；
  3. 切分后全部转换为小写；
  4. 保留StopWords。

4.2.1、英文分词示例

GET _analyze
{
  "analyzer": "simple",
  "text": "In 2022, Java is the best language in the world."
}

英文分词效果： （非英文字母被删除）

{
  "tokens" : [
    {
      "token" : "in",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "java",
      "start_offset" : 9,
      "end_offset" : 13,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "is",
      "start_offset" : 14,
      "end_offset" : 16,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "the",
      "start_offset" : 17,
      "end_offset" : 20,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "best",
      "start_offset" : 21,
      "end_offset" : 25,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "language",
      "start_offset" : 26,
      "end_offset" : 34,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "in",
      "start_offset" : 35,
      "end_offset" : 37,
      "type" : "word",
      "position" : 6
    },
    {
      "token" : "the",
      "start_offset" : 38,
      "end_offset" : 41,
      "type" : "word",
      "position" : 7
    },
    {
      "token" : "world",
      "start_offset" : 42,
      "end_offset" : 47,
      "type" : "word",
      "position" : 8
    }
  ]
}

4.2.3、中文分词示例

        中文分词的效果，其对于连接在一起的中文语句不做任何切分，完整输出，该分词器无法应对中文分词。

GET _analyze
{
    "analyzer": "simple",
    "text" : "北京市"
}


# 分词后的效果：
{
  "tokens" : [
    {
      "token" : "北京市",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "word",
      "position" : 0
    }
  ]
}

4.3、Whitespace Analyzer

它非常简单，根据名称也可以看出是按照空格进行切分的。

  1. 使用空白字符进行分词；
  2. 切分后不做大小写处理；
  3. 保留StopWords。

4.3.1、英文分词

        可以看出，只是按照空格进行切分，2022 数字还是在的，Java 的首字母还是大写的，in 还是保留的。

GET _analyze
{
  "analyzer": "whitespace",
  "text": "In 2022, Java is the best language in the world."
}

结果：

{
  "tokens" : [
    {
      "token" : "In",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "2022,",
      "start_offset" : 3,
      "end_offset" : 8,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "Java",
      "start_offset" : 9,
      "end_offset" : 13,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "is",
      "start_offset" : 14,
      "end_offset" : 16,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "the",
      "start_offset" : 17,
      "end_offset" : 20,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "best",
      "start_offset" : 21,
      "end_offset" : 25,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "language",
      "start_offset" : 26,
      "end_offset" : 34,
      "type" : "word",
      "position" : 6
    },
    {
      "token" : "in",
      "start_offset" : 35,
      "end_offset" : 37,
      "type" : "word",
      "position" : 7
    },
    {
      "token" : "the",
      "start_offset" : 38,
      "end_offset" : 41,
      "type" : "word",
      "position" : 8
    },
    {
      "token" : "world.",
      "start_offset" : 42,
      "end_offset" : 48,
      "type" : "word",
      "position" : 9
    }
  ]
}

4.3.2、中文分词

        中文分词的效果，依然只会针对空白字符进行分词，无空白字符的串会被完整输出，该分词器无法应对中文分词。

GET _analyze
{
    "analyzer": "whitespace",
    "text" : "北京市"
}

结果：

{
  "tokens" : [
    {
      "token" : "北京市",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "word",
      "position" : 0
    }
  ]
}

4.4、Stop Analyzer

  1. 使用非英文字母进行分词
  2. 分词后，非英文字母被删除
  3. 切分后全部转换为小写
  4. 删除StopWords

4.4.1、英文分词示例

        相较于刚才提到的 Simple Analyzer：删除了非英文字母，多了 stop 过滤，stop 就是会把 the，a，is 等修饰词去除。

GET _analyze
{
  "analyzer": "stop",
  "text": "In 2022, Java is the best language in the world."
}

结果：

{
  "tokens" : [
    {
      "token" : "java",
      "start_offset" : 9,
      "end_offset" : 13,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "best",
      "start_offset" : 21,
      "end_offset" : 25,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "language",
      "start_offset" : 26,
      "end_offset" : 34,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "world",
      "start_offset" : 42,
      "end_offset" : 47,
      "type" : "word",
      "position" : 8
    }
  ]
}

4.4.2、中文分词示例

        中文分词的效果，其对于连接在一起的中文语句不做任何切分，完整输出，该分词器无法应对中文分词。

GET _analyze
{
    "analyzer": "stop",
    "text" : "北京市"
}

# 結果：
{
  "tokens" : [
    {
      "token" : "北京市",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "word",
      "position" : 0
    }
  ]
}

4.5、Keyword Analyzer

        它其实不做分词处理，只是将输入作为 Term 输出。

4.6、Pattern Analyzer

        它可以通过正则表达式的方式进行分词，默认是用 \W+ 进行分割的，也就是非字母进行切分的，由于运行结果和 Stamdard Analyzer 一样，就不展示了。

4.7、Language Analyzer

        ES 为不同国家语言的输入提供了 Language Analyzer 分词器，在里面可以指定不同的语言，

我们用 english 进行分词看下：

        可以看出 language 被改成了 languag，同时它也是有 stop 过滤器的，比如 in,is 等词也被去除了。

GET _analyze
{
  "analyzer": "english",
  "text": "In 2022, Java is the best language in the world."
}

结果：

{
  "tokens" : [
    {
      "token" : "2022",
      "start_offset" : 3,
      "end_offset" : 7,
      "type" : "<NUM>",
      "position" : 1
    },
    {
      "token" : "java",
      "start_offset" : 9,
      "end_offset" : 13,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "best",
      "start_offset" : 21,
      "end_offset" : 25,
      "type" : "<ALPHANUM>",
      "position" : 5
    },
    {
      "token" : "languag",
      "start_offset" : 26,
      "end_offset" : 34,
      "type" : "<ALPHANUM>",
      "position" : 6
    },
    {
      "token" : "world",
      "start_offset" : 42,
      "end_offset" : 47,
      "type" : "<ALPHANUM>",
      "position" : 9
    }
  ]
}

炎升
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch学习(五)-查询
hxyascx的博客
08-06 239
match 对字段进行全文检索，最基本和常用的查询类型，API示例如下： GET book/_search { "query": { "match": { "title": "java菜" } } } 首先会将查询条件进行分词，如果查询的字段是text的格式，也会对要查询的字段进行分词。满足一个分词的条件就好被查询出来。 text 上面的title是text类...
ElasticSearch 分词器，了解一下
武培轩
03-08 369
这篇文章主要来介绍下什么是 Analysis ，什么是分词器，以及 ElasticSearch 自带的分词器是怎么工作的，最后会介绍下中文分词是怎么做的。 首先来说下什么是 Analysis： 什么是 Analysis？ 顾名思义，文本分析就是把全文本转换成一系列单词（term/token）的过程，也叫分词。在 ES 中，Analysis 是通过分词器（Analyzer） 来实现的，可使用 ES ...
【9种】ElasticSearch分词器详解，一文get！！！| 博学谷狂野架构师
博学谷狂野架构师的博客
05-08 6827
分词器的主要作用将用户输入的一段文本，按照一定逻辑，分析成多个词语的一种工具顾名思义，文本分析就是把全文本转换成一系列单词（term/token）的过程，也叫分词。在 ES 中，Analysis 是通过分词器（Analyzer）来实现的，可使用 ES 内置的分析器或者按需定制化分析器。举一个分词简单的例子：比如你输入，会自动帮你分成两个单词，一个是mastering，另一个是，可以看出单词也被转化成了小写的。当内置的分词器无法满足需求时，可以创建custom类型的分词器。
分词器详解
学如逆水行舟，不进则退
09-28 1988
分词器详解
2024年最全Elasticsearch连续剧之分词器_es 默认分词器(1)，Activity的6大难点你会几个
最新发布
2401_84187635的博客
05-10 264
ES文档的数据拆分成一个个有完整含义的关键词，并将关键词与文档对应，这样就可以通过关键词查询文档。要想正确地分词，需要选择合适的分词器。现在咱们来探索一下分词器的真实面目!
2、Elasticsearch分词器简介与使用（一）
小确幸的博客
06-23 4567
介绍说明ES内置的几种分词器，以及第三方的中文分词器，以及如何使用它们。
【ES实战】ES分词器介绍
coding and writing
02-24 8535
ES 分词器概念介绍
ElasticSearch 分词器
qq_50596778的博客
06-20 5154
ElasticSearch 分词器
elasticsearch-7.14.0+分词器+head插件一键下载
09-04
Elasticsearch 内置了多种分词器，如标准分词器（Standard Analyzer）、关键词分词器（Keyword Analyzer）和中文分词器（Smart Chinese Analyzer）等。这些分词器可以根据不同的语言和应用场景进行定制，以确保搜索...
elasticsearch ik 7.4.2 分词器
05-07
**Elasticsearch IK 7.4.2 分词器** 在大数据时代，全文检索和搜索引擎技术扮演着至关重要的角色，而Elasticsearch作为一...通过不断学习和实践，你可以充分利用Elasticsearch和IK分词器来挖掘和分析海量的中文数据。
Elasticsearch中安装IK分词器
01-07
在Elasticsearch中默认的分词器对中文的支持不好，会分隔成一个一个的汉字。而IK分词器对中文的支持比较好一些，主要有两种模式“ik_smart”和“ik_max_word”。 Elasticsearch中文拆分测试： curl -H Content-Type...
es7.0 ik的分词器
09-27
标题"es7.0 ik的分词器"指出，我们讨论的是Elasticsearch（ES）7.0版本中的IK分词器。Elasticsearch是一个流行的开源全文搜索引擎，它提供了强大的数据分析和搜索功能。然而，ES原生的分词器主要面向英文，对中文的...
elasticsearch 中文分词器ik
09-13
**Elasticsearch中文分词器IK** Elasticsearch（ES）是流行的全文搜索引擎，它基于Lucene库构建，提供了一个分布式、RESTful风格的搜索和分析引擎服务。然而，对于中文这种复杂的语言，Elasticsearch默认的分词器...
(七) ElasticSearch 分词器
csdn570566705的博客
06-19 2927
分词器是 Elasticsearch 中的一个组件，用于将文本转换为词项，以便于搜索和索引。它负责将输入的文本进行拆分、标准化和处理，生成最终的词项列表。
Elasticsearch中的分词器的基本介绍以及使用
gaoqiandr的博客
01-28 2574
本文主要介绍的是elasticsearch中分词器的基本使用
Elasticsearch连续剧之分词器
狮子也疯狂的博客
01-16 1万+
ES文档的数据拆分成一个个有完整含义的关键词，并将关键词与文档对应，这样就可以通过关键词查询文档。要想正确地分词，需要选择合适的分词器。现在咱们来探索一下分词器的真实面目!前面两种分词器，各有优点，但是他们的功能确实不够完备，比如使用ik分词器可以对中文进行分词，但是却不能对拼音分词；所以在现实开发中，我们一般使用自定义分词器进行分词，这样既可以对文字分词，也可以对拼音分词，现在咱们来研究一下如何写一个ik+pinyin分词器。
ElasticSearch中常见的分词器介绍
热爱编程、热爱生活、热爱探索
11-11 1521
ElasticSearch是一个高效的分布式搜索引擎，其中分词器是它的核心组件之一，平常开发中选择一个合适的分词器可以很大程度上提高检索效率，所以特意花点时间快速了解ElasticSearch中各大常见的分词器，本文也将分别介绍ElasticSearch中常见的几大分词器的特点、适用场景，以及如何适用推荐阅读ElasticSearch快速入门_知识汲取者的博客-CSDN博客custom可以根据具体需求自定义分词器，包括指定分词器、字符过滤器、标记过滤器等。适用场景。
ElasticSearch最全分词器比较及使用方法
热门推荐
赵英超的博客
11-01 3万+
介绍：ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful web 接口。Elasticsearch 是用 Java 开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 Elasticsearch中，内置了很多分词器（a...
3.ElasticSearch分词器，包括默认分词器、英文分词器、中文分词器
名猿陈大浏的博客
08-28 7486
导图（用于总结和复习） ​ ​ 注：使用 GET /test/_analyze 可以使用分词器查看分词结果，例： 以上用例是使用 analyzer 指定英文分词器查看分词结果，如果field是索引里的字段，会使用字段指定的分词器进行分词。 接下来进入测试。 默认分词器 默认使用standar分词器 在不标明的时候都是使用默认的standar分词 在建索引的时候，使用 analyzer 指定字段分词器 测试数据： #1.删除 /test下的测试数据 DELETE /test/
十次方微服务开发v1.1--第4章1
08-03
同时，还涉及到完成基本的增删改查操作、Head插件安装和基本使用方法的熟悉、IK分词器的安装和分词使用、使用SpringDataElasticsearch完成搜索微服务的开发、使用logstash完成mysql与Elasticsearch的同步工作以及...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值