Elasticsearch 文本分析器（下）

已于 2023-10-13 11:05:00 修改
阅读量1.3k 收藏 1
点赞数 1
分类专栏： 人在江湖之Elasticsearch 文章标签： elasticsearch 过滤器 分词器 字符过滤器 分词
于 2023-06-09 09:06:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forlinkext/article/details/131107612
版权

文章目录

字符过滤器

注意：字符过滤器用于在将字符流传递给分词器之前对其进行预处理

html_strip HTML元素替换过滤器

此过滤器会替换掉HTML标签，且会转换HTML实体 如：& 会被替换为 &。

{
  "tokenizer": "keyword",
  "char_filter": [
    "html_strip"
  ],
  "text": "<p>I&apos;m so <b>happy</b>!</p>"
}

解析结果：

[ \nI'm so happy!\n ]

因为是 p 标签，所以有前后的换行符。如果使用<span>标签就不会有换行符了。

可配参数说明

  • escaped_tags
    （可选，字符串数组）不包含尖括号 ( < >) 的 HTML 元素数组。当从文本中剥离 HTML 时，过滤器会跳过这些 HTML 元素。例如，设置 [ “p” ] 将会跳过 <p> HTML 元素。

自定义字符过滤器

{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "keyword",
          "char_filter": [
            "my_custom_html_strip_char_filter"
          ]
        }
      },
      "char_filter": {
        "my_custom_html_strip_char_filter": {
          "type": "html_strip",
          "escaped_tags": [
            "b"
          ]
        }
      }
    }
  }
}

自定义字符过滤器 my_custom_html_strip_char_filter ，以 html_strip 过滤器为基础，设置了跳过 b 标签不过滤。

mapping 键值替换过滤器

配置键和值的映射，每当遇到与键相同的字符串时，它就会用与该键关联的值替换它们

{
  "tokenizer": "keyword",
  "char_filter": [
    {
      "type": "mapping",
      "mappings": [
        "0 => 零",
        "1 => 壹",
        "2 => 贰",
        "3 => 叁",
        "4 => 肆",
        "5 => 伍",
        "6 => 陆",
        "7 => 柒",
        "8 => 捌",
        "9 => 玖"
      ]
    }
  ],
  "text": "9527就是你的终身代号"
}

解析结果：

{
    "tokens": [
        {
            "token": "玖伍贰柒就是你的终身代号",
            "start_offset": 0,
            "end_offset": 12,
            "type": "word",
            "position": 0
        }
    ]
}

可配参数说明

  • mappings
    （必需*，字符串数组）映射数组，每个元素的形式为key => value.
  • mappings_path
    （必需*，字符串）包含映射的文件的路径key => value。
    此路径必须是绝对路径或相对于config位置的路径，并且文件必须是 UTF-8 编码的。文件中的每个映射必须用换行符分隔。

以上两个参数二选一即可。

pattern_replace 正则替换过滤器

{
  "tokenizer": "keyword",
  "char_filter": [
    {
      "type": "pattern_replace",
      "pattern": "(\\d{3})(\\d{4})(\\d{4})",
      "replacement":"$1****$3"
    }
  ],
  "text": "13199838273"
}

解析结果：

{
    "tokens": [
        {
            "token": "131****8273",
            "start_offset": 0,
            "end_offset": 11,
            "type": "word",
            "position": 0
        }
    ]
}

看到结果你就知道我们示例的作用了，关于写法可以看看可配参数的说明。

可配参数说明

  • pattern
    必需，Java正则表达式。
  • replacement
    替换字符串，用 $1…$9来表示正则表达式匹配的内容。注意，我们的示例中每一个正则匹配都用了()括号扩起来。
  • flags
    Java 正则表达式标志。

常用分词器

分析器只能配置一个分词器，所以很多分词器的名称和分析器的名称是一致的

标准分词器

standard词器提供基于语法的分词（基于 Unicode 文本分割算法）并且适用于大多数语言。

POST _analyze
{
  "tokenizer": "standard",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

解析结果：

[ The, 2, QUICK, Brown, Foxes, jumped, over, the, lazy, dog's, bone ]

如果仔细对比，你还是能发现和 standard 分析器处理结果的区别的。

我们来试试中文

{
  "tokenizer": "standard",
  "text": "我是中国人"
}

解析结果：

[我,是,中,国,人]

分词是分词了，但是貌似不符合我们的要求，关于中文的分词我们后面再说。

可配参数说明

  • max_token_length
    单个词语的最大长度。如果词语长度超过该长度，则按max_token_length间隔将其拆分。默认为255。

自定义分词器

PUT /person1
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "standard",
          "max_token_length": 5
        }
      }
    }
  }
}

注意配置参数：我们配置了一个自定义的分词器 my_tokenizer ，以 standard 为基础类型，然后配置了一个自定义的分析器 my_analyzer，设置该分析器的分词器为 my_tokenizer 。

letter 字母分词器

只要遇到不是字母的字符，分词器就会将文本分解。它对大多数欧洲语言都做得很好，但对一些亚洲语言来说就很糟糕，因为在这些语言中单词没有用空格分隔。

POST _analyze
{
  "tokenizer": "letter",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}

解析结果：

[ The, QUICK, Brown, Foxes, jumped, over, the, lazy, dog, s, bone]

lowercase 小写分词器

其作用和 letter 分词器一样，只是会将字母转换为小写。此处我们就不贴示例了。

classic 经典分词器

适用于英语文档。此分词器具有对首字母缩写词、公司名称、电子邮件地址和 Internet 主机名进行特殊处理的启发式方法。然而，这些规则并不总是有效，分词器对除英语以外的大多数语言都不能很好地工作

POST _analyze
{
  "tokenizer": "standard",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone. email: abc@cormm.com"
}

解析结果：

{
    "tokens": [
        {
            "token": "The",
            "start_offset": 0,
            "end_offset": 3,
            "type": "<ALPHANUM>",
            "position": 0
        },
        {
            "token": "2",
            "start_offset": 4,
            "end_offset": 5,
            "type": "<ALPHANUM>",
            "position": 1
        },
        {
            "token": "QUICK",
            "start_offset": 6,
            "end_offset": 11,
            "type": "<ALPHANUM>",
            "position": 2
        },
        {
            "token": "Brown",
            "start_offset": 12,
            "end_offset": 17,
            "type": "<ALPHANUM>",
            "position": 3
        },
        {
            "token": "Foxes",
            "start_offset": 18,
            "end_offset": 23,
            "type": "<ALPHANUM>",
            "position": 4
        },
        {
            "token": "jumped",
            "start_offset": 24,
            "end_offset": 30,
            "type": "<ALPHANUM>",
            "position": 5
        },
        {
            "token": "over",
            "start_offset": 31,
            "end_offset": 35,
            "type": "<ALPHANUM>",
            "position": 6
        },
        {
            "token": "the",
            "start_offset": 36,
            "end_offset": 39,
            "type": "<ALPHANUM>",
            "position": 7
        },
        {
            "token": "lazy",
            "start_offset": 40,
            "end_offset": 44,
            "type": "<ALPHANUM>",
            "position": 8
        },
        {
            "token": "dog's",
            "start_offset": 45,
            "end_offset": 50,
            "type": "<APOSTROPHE>",
            "position": 9
        },
        {
            "token": "bone",
            "start_offset": 51,
            "end_offset": 55,
            "type": "<ALPHANUM>",
            "position": 10
        },
        {
            "token": "email",
            "start_offset": 57,
            "end_offset": 62,
            "type": "<ALPHANUM>",
            "position": 11
        },
        {
            "token": "abc@cormm.com",
            "start_offset": 64,
            "end_offset": 77,
            "type": "<EMAIL>",
            "position": 12
        }
    ]
}

关于与 standard 分词器的区别，可以自行验证一下。

可配参数说明

  • max_token_length
    单个词语的最大长度。如果词语长度超过该长度，则按max_token_length间隔将其拆分。默认为255。

path_hierarchy 路径层次分词器

POST _analyze
{
  "tokenizer": "path_hierarchy",
  "text": "/one/two/three"
}

解析结果：

[ /one, /one/two, /one/two/three ]

可配参数说明

  • delimiter
    用作路径分隔符的字符。默认为 /
  • replacement
    用于分隔符的可选替换字符。默认为delimiter.
  • buffer_size
    单次读取到术语缓冲区的字符数。默认为1024. 术语缓冲区将按此大小增长，直到所有文本都被消耗掉。建议不要更改此设置。
  • reverse：是否反转，默认为false。
  • skip
    要跳过的初始标记数。默认为0.

示例2

拆分 - 字符，并将它们替换为 / 并跳过前两个标记

PUT /person1
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "path_hierarchy",
          "delimiter": "-",
          "replacement": "/",
          "skip": 2
        }
      }
    }
  }
}

{
  "analyzer": "my_analyzer",
  "text": "one-two-three-four-five"
}

解析结果：

[ /three, /three/four, /three/four/five ]

如果设置 reverse 为 true

[ one/two/three/, two/three/, three/ ]

uax_url_email 电子邮件分词器

{
  "tokenizer": "uax_url_email",
  "text": "Email me at john.smith@global-international.com"
}

解析结果：

[ Email, me, at, john.smith@global-international.com ]

可配参数说明

  • max_token_length
    单个词语的最大长度。如果词语长度超过该长度，则按max_token_length间隔将其拆分。默认为255。

令牌过滤器

令牌过滤器，是在标记之后执行。es 提供的令牌过滤器非常多，我们只列一些可能会有用的来说一说。

uppercase 大写过滤器

{
  "tokenizer" : "standard",
  "filter" : ["uppercase"],
  "text" : "the Quick FoX JUMPs"
}

解析结果

[ THE, QUICK, FOX, JUMPS ]

lowercase 小写过滤器

{
  "tokenizer" : "standard",
  "filter" : ["lowercase"],
  "text" : "THE Quick FoX JUMPs"
}

解析结果：

[ the, quick, fox, jumps ]

stemmer 词干过滤器

{
  "tokenizer": "standard",
  "filter": [ "stemmer" ],
  "text": "fox running and jumping jumped"
}

解析结果：

[ fox, run, and, jump, jump ]

注意标记提取了词干。比如：jumping 和 jumped 提取为了 jump 。

可配参数说明

  • language
    （可选，字符串）用于词干标记的依赖于语言的词干提取算法。可以设置很多语言，我们常用的也就 english（默认：英语）german 德语、spanish 西班牙语等等，但还是不包括中文。

stop 停用词过滤器

该过滤器默认将如下词语作为停用词：

a, an, and, are, as, at, be, but, by, for, if, in, into, is, 
it, no, not, of, on, or, such, that, the, their, then, there, 
these, they, this, to, was, will, with

{
  "tokenizer": "standard",
  "filter": [ "stop" ],
  "text": "a quick fox jumps over the lazy dog"
}

解析结果：

[ quick, fox, jumps, over, lazy, dog ]

cjk_bigram 中日韩双字母标记过滤器

此过滤器支持中日韩的文字，但标记只对文字进行两两组合，严格上说对中文的支持也不是十分好。

{
  "tokenizer" : "standard",
  "filter" : ["cjk_bigram"],
  "text" : "我们都是中国人"
}

解析结果:

{
    "tokens": [
        {
            "token": "我们",
            "start_offset": 0,
            "end_offset": 2,
            "type": "<DOUBLE>",
            "position": 0
        },
        {
            "token": "们都",
            "start_offset": 1,
            "end_offset": 3,
            "type": "<DOUBLE>",
            "position": 1
        },
        {
            "token": "都是",
            "start_offset": 2,
            "end_offset": 4,
            "type": "<DOUBLE>",
            "position": 2
        },
        {
            "token": "是中",
            "start_offset": 3,
            "end_offset": 5,
            "type": "<DOUBLE>",
            "position": 3
        },
        {
            "token": "中国",
            "start_offset": 4,
            "end_offset": 6,
            "type": "<DOUBLE>",
            "position": 4
        },
        {
            "token": "国人",
            "start_offset": 5,
            "end_offset": 7,
            "type": "<DOUBLE>",
            "position": 5
        }
    ]
}

除去我们以上介绍的，ES 的令牌过滤器还有很多，我们就不过多说明了，因为他们大多数都是不支持中文的。

没事儿写两篇
关注
专栏目录
【Elasticsearch】字符过滤器
九师兄
07-12 515
1.概述 官网：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-charfilters.html 1.1 字符过滤器 字符过滤器用于在将字符流传递给标记器之前对其进行预处理。 字符过滤器以字符流的形式接收原始文本，并可以通过添加、删除或更改字符来转换流。例如，字符过滤器可用于将印度-阿拉伯数字 (٠ ١٢٣٤٥٦٧٨ ٩ ) 转换为它们的阿拉伯-拉丁数字 (0123456789)，或<b>从流中去除
es过滤html标签,Elasticsearch 分词器
weixin_39793564的博客
06-23 1889
在全文搜索(Fulltext Search)中，词(Term)是一个搜索单元，表示文本中的一个词，标记(Token)表示在文本字段中出现的词，由词的文本、在原始文本中的开始和结束偏移量、以及数据类型等组成。ElasticSearch 把文档数据写到倒排索引(Inverted Index)的结构中，倒排索引建立词(Term)和文档之间的映射，索引中的数据是面向词，而不是面向文档的。分析器(Analy...
过滤含html标签的字符串
05-28
过滤含html标签的字符串 过滤含html标签的字符串 过滤含html标签的字符串 过滤含html标签的字符串 过滤含html标签的字符串 过滤含html标签的字符串 过滤含html标签的字符串 过滤含html标签的字符串
Elasticsearch摄取节点（四）——参数修改处理器
大风的博客
12-02 402
参数修改处理器 此类主要是对文档中字段进行类型转换或者数据转换，其并不修改字段中实际的结果而是将其转换成目标格式。 此类处理器主要包含 1. HTML Strip Processor 2. Lowercase Processor 3. Uppercase Processor 4. Trim Processor 5. Set Processor HTML标签处理器(HTML Strip Pro...
06.Elasticsearch应用（六）
weixin_43891622的博客
01-24 1064
ES分词器
Elasticsearch——索引配置、模板和重建详解
吴声子夜歌的博客
10-04 2187
使用keyword分词器、lowercase分词过滤、字符过滤器是html strip,这3部分构成一个分词器。上面示例返回分词结果是this is a test,其中html_strip过滤掉了html字符。也可以指定索引进行分词。
elasticsearch系列三：索引详解（分词器、文档管理、路由详解（集群））
WorldMvp的专栏
07-02 2380
一、分词器 1. 认识分词器 1.1 Analyzer分析器 在ES中，一个Analyzer 由下面三种组件组合而成： character filter：字符过滤器，对文本进行字符过滤处理，如处理文本中的html标签字符。处理完后，再交给tokenizer进行分词。一个analyzer中可包含0个或多个字符过滤器，多个按配置顺序依次进行处理。tokenizer：分词器，对文本进行分词。一个analyzer必需且只可包含一个tokenizer。token filter：词项过滤器，对toke...
Elasticsearch 自定义过滤器示例
wei_bo_cai的博客
06-15 1974
Elasticsearch 自定义过滤器示例HTML strip Character Filter添加分析器参数标准分词器参数Lowercase token filter 小写标记过滤器创建分析器参数自定义组合使用一个更复杂的例子 HTML strip Character Filter 删除HTML从文本元素，并替换HTML实体与他们的解码值（例如，更换&用&）。html_strip使用的是Lucene的HTMLStripCharFilter。 GET /_analyze { "toke
Elasticsearch 用于html 去标签化搜索
weixin_43849685的博客
03-01 657
/ 定义两种过滤html标记后，自动生成的没有html标签的index//对应text类型},//对应keyword类型},},// 测试时使用字段子类型，一个字段建立三种index方便比较"html":{},// 测试html_text_analyzer"// 返回结果// 测试html_keyword_analyzer"// 返回结果 去除html标记后正常分解},},// 录入数据 带span标记"
Elasticsearch：分析器中的 character filter 介绍
Elastic 中国社区官方博客
02-13 1015
Character filter，也即字符过滤器用于在将字符流传递给分词器之前对其进行预处理。字符过滤器将原始文本作为字符流接收，并可以通过添加、删除或更改字符来转换流。例如，字符过滤器可用于将印度-阿拉伯数字 (٠ ١٢٣٤٥٦٧٨ ٩ ) 转换为对应的阿拉伯-拉丁数字 (0123456789)，或从流中去除 等 HTML 元素。当用户搜索答案时，期望他们不会使用标点符号或特殊字符进行搜索。
ElasticSearch - Analyzer 文本分析器
袭冷
02-15 619
一、关于 1、概念相关 文本分析是将非结构化文本转换为结构化格式，以便于搜索的过程 文本分析器使 ElasticSearch 能够执行全文检索，返回所有相关的结果，而不仅仅是精确的匹配 2、组成部分 文本分析器由 字符过滤器、分词器、词项过滤器 三个构建块组成 字符过滤器（character filters） 接收原始文本，并对文本进行过滤处理，如处理文本中的html标签字符或将罗马数字转换成阿...
elasticsearch文档
qq_44494957的博客
10-15 315
文档概念 什么是文档 ES中存储数据的单位叫做document。每个单一的整体数据都是一个文档对象，类似数据库中表格行数据（rows）。例如：一个文档可以包含一个人的数据，表示一个商品，表示一个网页结构。 文档组成结构 文档对象在ES中，都是以json字符串形式存在的，所以一个文档可以根据数据，业务逻辑，由多个key值形成。 {“name”:“逻辑”,“age”:18},这个文档中name,age就是他的Field字段。一个文档是由多个字段组成的。字段类似数据库的列数据。 文档的REST_API 新增文档
elasticsearch7.17.11版本分词器插件安装包
11-13
Elasticsearch（简称ES）是一款基于Lucene的分布式、RESTful搜索引擎，广泛应用于日志收集、数据分析等领域，是ELK（Elasticsearch、Logstash、Kibana）堆栈的重要组成部分。在处理中文数据时，合理的分词对于提升...
深入探索Elasticsearch：如何使用自定义分析器
最新发布
07-18
尽管 Elasticsearch 提供了多种内置分析器，但在特定场景下，这些内置分析器可能无法满足所有需求。此时，自定义分析器便能派上用场。 #### 自定义分析器的必要性 - **特定语言支持**：例如，在处理中文或某些特殊...
ParsiAnalyzer:波斯语Elasticsearch分析器
05-05
Elasticsearch提供了许多内置分析器，但仍有改进的空间，尤其是对于波斯语言。 该插件提供了用于标记，规范化和阻止波斯文字的工具。 主要特征 标记波斯文字 必要时将空格转换为零宽度非连接符（ نیم‌فاصل...
ElasticSearch之文本搜索
09-18
本文主要探讨Elasticsearch在文本搜索方面的应用，包括倒排索引的建立过程、文本搜索的执行步骤以及分析器在其中的作用。 1. **文本搜索简介** Elasticsearch的文本搜索能力基于倒排索引机制。倒排索引是一种允许...
ElasticSearch 基础（七）之分析器
weixin_43844718的博客
03-20 2343
就 ES 基础部分来说这暂时就是最后一篇的文章，写完之后就会学习 MQ 了。本篇内容简单了解 ES 的分析器，最重要的还是根据自己需求去定制自定义分析器，自定义分析器自行了解，这里只是基础。其他比较重要的就是中文分词器了，只需要知道常用的几种中文分词器就可以了。无论是内置的分析器，还是自定义的分析器，都是由一个分词器（tokenizers） 、0或多个词项过滤器（）、0或多个字符过滤器（）组成。分词器（tokenizer）：用于定义切词 (分词)逻辑。
ElasticSearch学习笔记-第五章 ES文档分析详解
weixin_42584100的博客
07-24 471
ES文档字符过滤器、分词器、词项过滤器、IK分词器详解
Elasticsearch7.x——分析器Analyzer与分析接口Analyze API详解
吴声子夜歌的博客
10-20 785
当内置分析器不能满足您的需求时，可以创建一个custom分析器。零个或多个字符过滤器一个 分析器零个或多个token过滤器。tokenizer：内置或定制的分词器：可选的内置或定制字符过滤器列表filter：可选的内置或定制token过滤器列表：在索引文本值数组时，Elasticsearch会在一个值的最后一个值和下一个值的第一个项之间插入假的“间隙”，以确保短语查询与不同数组元素的两个术语不匹配。
Elasticsearch 富文本编辑器内容分析
05-14
如果您想在 Elasticsearch 中存储富文本内容并进行分析，可以使用 Elasticsearch 的 Ingest Node 插件来解析和处理富文本内容。以下是一些示例步骤： 1. 首先，您需要安装 Ingest Attachment 插件。该插件可以解析...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值