ES分词器

已于 2022-12-11 17:12:20 修改
阅读量556 收藏
点赞数
分类专栏： ElasticStack 文章标签： elasticsearch 大数据
于 2022-12-10 18:07:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianzhonghaoqing/article/details/128267298
版权

概述

normalization（规范化）

文档规范化，提高召回率。

GET _analyze
{
  "text":"Mr.Ma is an excellent teacher",
  "analyzer":"standard"
}
// 规范化结果如下：
{
  "tokens" : [
    {
      "token" : "mr.ma",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "is",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "an",
      "start_offset" : 9,
      "end_offset" : 11,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "excellent",
      "start_offset" : 12,
      "end_offset" : 21,
      "type" : "<ALPHANUM>",
      "position" : 3
    },
    {
      "token" : "teacher",
      "start_offset" : 22,
      "end_offset" : 29,
      "type" : "<ALPHANUM>",
      "position" : 4
    }
  ]
}

规范化就是把文本按照一定规则处理后生成标准化的文本，比如大写字母转换成小写字母，英文时态转换等，为了方便查询是匹配文档。

字符过滤器（character filter）

分词之前的预处理，过滤无用字符。

html strip character filter

# 创建索引时设置分析器
PUT my_index
{
  "settings": {
    "analysis": {
      "char_filter": {
        "my_char_filter":{
          "type":"html_strip",
          "escaped_tags":["a"]  # 指定不需要过滤的标签
        }
      },
      "analyzer": {
        "my_analyzer":{
          "tokenizer":"keyword",
          "char_filter":["my_char_filter"]
        }
      }
    }
  }
}
# 查询文档指定分析器
GET my_index/_analyze
{
  "analyzer": "my_analyzer",
  "text":"<p>I&apos;m so <a> happy</a>!</p>"
}
# 查询结果, 可以看到<a>没有被过滤掉
{
  "tokens" : [
    {
      "token" : """
I'm so <a> happy</a>!
""",
      "start_offset" : 0,
      "end_offset" : 33,
      "type" : "word",
      "position" : 0
    }
  ]
}

mapping character filter

PUT my_index
{
  "settings": {
    "analysis": {
      "char_filter": {
        "my_char_filter":{
          "type":"mapping",
           "mappings":[
              "滚 => *",
              "垃 => *",
              "圾 => *"
            ]
        }
      },
      "analyzer": {
        "my_analyzer":{
          "tokenizer":"keyword",
          "char_filter":["my_char_filter"]
        }
      }
    }
  }
}

GET my_index/_analyze
{
  "analyzer": "my_analyzer",
  "text":"滚蛋，垃圾人"
}
# 查询结果
{
  "tokens" : [
    {
      "token" : "*蛋，**人",
      "start_offset" : 0,
      "end_offset" : 6,
      "type" : "word",
      "position" : 0
    }
  ]
}

pattern replace character filter

正则替换字符过滤器。

PUT my_index
{
  "settings": {
    "analysis": {
      "char_filter": {
        "my_char_filter":{
          "type":"pattern_replace",
          "pattern":"(\\d{3})\\d+(\\d{4})",
          "replacement":"$1***$2"
        }
      },
      "analyzer": {
        "my_analyzer":{
          "tokenizer":"keyword",
          "char_filter":["my_char_filter"]
        }
      }
    }
  }
}

GET my_index/_analyze
{
  "analyzer": "my_analyzer",
  "text":"您的手机号是：172618001200"
}
# 查询结果
{
  "tokens" : [
    {
      "token" : "您的手机号是：172***1200",
      "start_offset" : 0,
      "end_offset" : 19,
      "type" : "word",
      "position" : 0
    }
  ]
}

令牌过滤器（token filter）

注意用来设置停用词，时态转换，大小写转换，同义词转换，语气词处理等。
同义词过滤器示例。

PUT /test_index
{
  "settings": {
    "analysis": {
      "filter": {
        "my_synonym":{
          "type":"synonym",
          "synonyms":["赵，钱，孙=>吴"]
        }
      },
      "analyzer": {
        "my_analyzer":{
          "tokenizer":"standard",
          "filter":["my_synonym"]
        }
      }
    }
  }
}

GET /test_index/_analyze
{
  "analyzer": "my_analyzer",
  "text": ["赵，钱，孙，李"]
}
# 查询结果
{
  "tokens" : [
    {
      "token" : "吴",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "SYNONYM",
      "position" : 0
    },
    {
      "token" : "李",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    }
  ]
}

分词器（tokenizer）

用于切词。
示例：

GET /test_index/_analyze
{
  "tokenizer": "standard",
  "text": ["hello word"]
}
# 查询结果
{
  "tokens" : [
    {
      "token" : "hello",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "word",
      "start_offset" : 6,
      "end_offset" : 10,
      "type" : "<ALPHANUM>",
      "position" : 1
    }
  ]
}

常见分词器

  • standard analyzer：默认分词器，中文支持的不理想，会逐字拆分。
  • pattern tokenizer：以正则匹配分隔符，把文本拆分成若干词项。
  • simple pattern tokenizer：以正则匹配词项，速度比pattern tokenizer快。
  • whitespace analyzer：以空白符分隔 Tim_cookie

自定义分词器

  • char_filter：内置或自定义字符过滤器 。
  • token filter：内置或自定义token filter 。
  • tokenizer：内置或自定义分词器。
    示例
PUT /custom_anlysis
{
  "settings": {
    "analysis": {
      "char_filter": {
        "my_char_filter": {
          "type": "mapping",
          "mappings": [
            "& => *"
          ]
        }
      },
      "filter": {
        "my_stopword": {
          "type": "stop",
          "stopwords": [
            "is",
            "and"
          ]
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "pattern",
          "pattern": ",."
        }
      },
      "analyzer": {
        "my_analyzer": {
          "type": "custom",
          "char_filter": [
            "my_char_filter"
          ],
          "filter": [
            "my_stopword"
          ],
          "tokenizer": "my_tokenizer"
        }
      }
    }
  }
}

GET /custom_anlysis/_analyze
{
  "analyzer": "my_analyzer",
  "text": ["what & is ,good man."]
}
# 查看结果
{
  "tokens" : [
    {
      "token" : "what * is ",
      "start_offset" : 0,
      "end_offset" : 10,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "ood man.",
      "start_offset" : 12,
      "end_offset" : 20,
      "type" : "word",
      "position" : 1
    }
  ]
}

中文分词器（ik分词器）

安装和部署

  • ik下载地址：https://github.com/medcl/elasticsearch-analysis-ik
  • Github加速器：https://github.com/fhefh2015/Fast-GitHub
  • 创建插件文件夹 cd your-es-root/plugins/ && mkdir ik
  • 将插件解压缩到文件夹 your-es-root/plugins/ik
  • 重新启动es

IK文件描述

  • IKAnalyzer.cfg.xml：IK分词配置文件
  • 主词库：main.dic
  • 英文停用词：stopword.dic，不会建立在倒排索引中
  • 特殊词库：
    • quantifier.dic：特殊词库：计量单位等
    • suffix.dic：特殊词库：行政单位
    • surname.dic：特殊词库：百家姓
    • preposition：特殊词库：语气词
  • 自定义词库：网络词汇、流行词、自造词等

ik提供的两种analyzer

  • ik_max_word会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合，适合 Term Query；
  • ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”，适合 Phrase 查询。

热更新

远程词库文件

  1. 优点：上手简单
  2. 缺点：
  3. 词库的管理不方便，要操作直接操作磁盘文件，检索页很麻烦
  4. 文件的读写没有专门的优化性能不好
  5. 多一层接口调用和网络传输
    ik访问数据库（需要修改ik源码，指定mysql中的扩展表）
  6. MySQL驱动版本兼容性
  7. https://dev.mysql.com/doc/connector-j/8.0/en/connector-j-versions.html
  8. https://dev.mysql.com/doc/connector-j/5.1/en/connector-j-versions.html
  9. 驱动下载地址
  10. https://mvnrepository.com/artifact/mysql/mysql-connector-java
ES 分词器
lqbz的总结
12-18 8616
分词器： ES在创建倒排索引时需要对文档分词。 在搜索时，需要对用户输入内容分词。 但默认的分词规则对中文处理并不友好。 在kibana的DevTools中测试： POST /_analyze { "analyzer": "standard", "text": "张三老铁学习java！" } post代表请求方式。 /_analyze代表分词分析。 analyzer分词类型，这里是默认的standard分词器。 text要分词的内容。 中文都直接被拆分成了一个个汉字，所以不能此分词器，要用lk分词器。
【ElasticSearch】中文分词器_es中文分词器
2401_84150394的博客
04-28 352
ik支持自定义扩展词库，有时候分词的结果不满足我们业务需要，需要根据业务设置专门的词库，词库的作用就是自定义一批关键词，分词的时候优先根据词库设置的关键词分割内容，例如：词库中包含 “上海大学” 关键词，如果对“上海大学在哪里？”进行分词，“上海大学” 会做为一个整体被切割出来。安装命令。
es 分词器
qq_38146392的博客
11-17 936
分词器 1 normalization：文档规范化,提高召回率 2 字符过滤器（character filter）：分词之前的预处理，过滤无用字符 HTML Strip Character Filter：html_strip 参数：escaped_tags 需要保留的html标签 Mapping Character Filter：type mapping Pattern Replace Character Filter：type pattern_replace 3 令牌过滤器（token fil
ElasticSearch分词器
最新发布
qq_44027353的博客
08-13 1206
这样当我们去搜索某个关键词时，ES 首先根据它的前缀或者后缀迅速缩小关键词的在 term dictionary 中的范围，大大减少了磁盘IO的次数。为了进一步提高索引效率，ES对trem的前缀或后缀构建了trem index，用于对trem本身的索引，如下图所示。基本处理逻辑为按照预先制定的分词规则，把原始文档分割成若干更小粒度的词项，粒度大小取决于分词器规则。Elasticsearch 的JSON文档中的每个字段，都有自己的倒排索引。记录所有文档的trem，记录trem和倒排列表的关联关系。
es-分词器
epitomizelu的专栏
04-19 175
一，standard // 分词器 POST _analyze { "analyzer":"standard", "text": "this is a book" } 二，stop // 分词器 POST _analyze { "analyzer":"stop", "text": "this is a book" } 三，simple // 分词器 POST _analyze ...
IK分词器elasticsearch-analysis-ik-7.17.16
12-24
IK分词器是针对Elasticsearch设计的一款强大的中文分词插件，其全称为"elasticsearch-analysis-ik"。在Elasticsearch中，分词器的作用至关重要，它负责将用户输入的文本进行词汇切分，以便进行后续的搜索和分析操作...
elasticsearch7.17.11版本分词器插件安装包
11-13
**Elasticsearch 7.17.11 分词器插件详解** Elasticsearch（简称ES）是一款基于Lucene的分布式、RESTful搜索引擎，广泛应用于日志收集、数据分析等领域，是ELK（Elasticsearch、Logstash、Kibana）堆栈的重要组成...
elasticsearch-analysis-ik 7.10.0 分词器
01-10
**Elasticsearch Analysis IK 7.10.0 分词器详解** Elasticsearch 分词器是搜索引擎核心组件之一，负责将输入的文本拆分成可搜索的独立单元——词语。在中文环境中，这个过程尤为重要，因为中文句子由多个汉字组成...
elasticsearch7.17.10版本分词器插件安装包
11-13
**Elasticsearch 7.17.10 分词器插件安装详解** 在日志收集和数据分析领域，Elasticsearch（简称ES）扮演着重要的角色。作为一个强大的全文搜索引擎，Elasticsearch允许用户通过简单的API进行数据索引、搜索、分析...
es中文分词器ik
04-14
es中文分词器ikes中文分词器ikes中文分词器ikes中文分词器ikes中文分词器ik
Elasticsearch之中文分词器插件es-ik（基于es2.4.0版本）
07-06
如果直接使用Elasticsearch的朋友在处理中文内容的搜索时，肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字，当用Kibana作图的时候，按照term来分组，结果一个汉字被分成了一组。 这是因为使用了Elasticsearch中默认的标准分词器，这个分词器在处理中文的时候会把中文单词切分成一个一个的汉字，因此引入es之中文的分词器插件es-ik就能解决这个问题。
ES-分词器
蓝天⊙白云的博客
03-16 703
ikmaxword会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合，适合 Term Query；ik下载地址：https://github.com/medcl/elasticsearch-analysis-ik。Github加速器：https://github.com/fhefh2015/Fast-GitHub。quantifier.dic：特殊词库：计量单位等。
ES---分词器
shall潇の菜园
03-17 3812
ES—分词器 转载链接：https://www.cnblogs.com/qdhxhz/p/11585639.html
ES入门十四：分词器
一只小星星
04-07 3712
除了使用内置的分词器外，我们还可以通过组合 Tokenizer、Filters、Character Filters 来自定义分词器。"char_filter": { # 自定义char_filter"mappings": ["& => and"] # 将 '&' 转换为 'and'},"filter": { # 自定义 filter"stopwords": ["an"] # 设置 "an" 为停用词},"analyzer": { # 自定义分词器为 custom_analyzer。
ES-分词器(Analyzer)
zdpyouzhe的专栏
10-02 2204
ES-分词器(Analyzer) 把输入的文本块按照一定的策略进行分解，并建立倒排索引。在Lucene的架构中，这个过程由分析器(analyzer)完成。 主要组成 character filter:接收原字符流，通过添加、删除或者替换操作改变原字符流。例如：去除文本中的html标签，或者将罗马数字转换成阿拉伯数字等。一个字符过滤器可以有零个或者多个。 tokenizer：简单的说就是将一整段文本拆分成一个个的词。例如拆分英文，通过空格能将句子拆分成一个个的词，但是对于中文来说，无法使用
elasticsearch分词器
07-28
Elasticsearch是一个开源的分布式搜索和分析引擎，它提供了强大的全文搜索和分析功能。在Elasticsearch中，分词器是用于将文本字段拆分成有意义的单词（或词组）的组件。 Elasticsearch提供了多种内置的分词器，也支持自定义分词器。以下是常用的一些内置分词器： 1. Standard Analyzer：这是默认的分词器，使用标准的语法规则来拆分单词，包括去除停用词、小写化等操作。 2. Simple Analyzer：这个分词器将文本按照非字母字符进行简单拆分，不考虑大小写转换和停用词。 3. Whitespace Analyzer：这个分词器将文本按照空格进行拆分，不考虑大小写转换和停用词。 4. Keyword Analyzer：这个分词器将整个文本视为一个单词，不进行任何拆分。 5. Language-specific Analyzers：Elasticsearch还提供了针对特定语言的分词器，如English Analyzer、Chinese Analyzer等，根据不同语言的特点进行了优化。 除了以上内置的分词器，Elasticsearch还支持自定义分词器，您可以根据自己的需求定义自己的分词逻辑。自定义分词器可以使用各种过滤器、字符映射等来实现更复杂的分词操作。 希望这些信息对您有所帮助！如果您有更多关于Elasticsearch分词器的问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

融极

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值