Elasticsearch 分词器

最新推荐文章于 2024-06-23 10:47:41 发布
最新推荐文章于 2024-06-23 10:47:41 发布
阅读量2.1k 收藏
点赞数 1
分类专栏： Elasticsearch 文章标签： elasticsearch 搜索引擎 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45761884/article/details/123556275
版权

Elasticsearch 分词器

Standard Analyzer（默认）

  • standard 是默认的分析器。它提供了基本语法的标记化（基于 Unicode 文本分割算法），适用于大多数语言。
  • 【分词方式】区分中英文，英文按照空格切分同时大写转小写；中文按照单个词分词。

在这里插入图片描述

Simple Analyzer

  • simple 分析器当它遇到只要不是字母的字符，就将文本解析成term，而且所有的 term 都是小写的。
  • 【分词方式】 先按照空格分词，英文大写转小写，不是英文不分词。

在这里插入图片描述

Whitespace Analyzer

  • 【分词方式】 按空格分词，英文不区分大小写，中文不再分词

在这里插入图片描述

ik 分词器

  • 下载地址

    https://github.com/medcl/elasticsearch-analysis-ik/releases

  • 解压到 elasticsearch/plugins/ik 目录下

在这里插入图片描述

  • 重启 ES
ik_smart

上面三个模式，要么没有拆分，要么拆分的太细，我们不需要那样，于是使用ik分词器。

拆成”夏洛特“，”烦恼“。拆分了，但是力度不够细

  • 最粗粒度划分。没有重复的

在这里插入图片描述

ik_max_word
  • 最细粒度划分，字有重复的。

在这里插入图片描述

自定义分词词汇
  • 相关配置文件

在这里插入图片描述

  • 自定义字典文件

  • 在这里插入图片描述

  • 重启ES

  • 测试

在这里插入图片描述

小陈不讲道理
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch进阶篇(三)：ik分词器的使用与项目应用
后端开发
04-21 3173
本文详细介绍了在Elasticsearch中安装、配置和使用IK分词器的过程。首先，它提供了两种安装方式：使用已编译的包文件或者源代码编译。然后，说明了如何将分词器安装到Elasticsearch中，并启动Elasticsearch来验证安装是否成功。接下来，介绍了IK分词器提供的两种主要分词模式：细粒度分词模式（ik_max_word）和智能分词模式（ik_smart），并展示了它们的使用示例。最后，它详细解释了IK分词器的配置文件作用，包括主要的配置文件和自定义词库的使用方法，并提供了相关的参考链接
elasticsearch的分词
larance的挨踢生活
04-29 337
Elasticsearch 中文搜索时遇到几个问题: 当搜索关键词如：“人民币”时，如果分词将“人民币”分成“人”，“民”，“币”三个单字，那么搜索该关键词会匹配到很多包含该单字的无关内容,但是如果将该词分词成一个整词“人民币”，搜索单字如“人”字又不会匹配到包含“人民币”关键词的内容,怎么解决这个问题,既保证覆盖度又保证准确度? 搜索“RMB”时只会匹配到包含“RMB”关键词的内容，实际上，“RMB”和“人民币”是同义词，我们希望用户搜索“RMB”和“人民币”可以相互匹配，ES同义词怎么
IK分词器---Elasticsearch（standard、ik_smart、ik_max_word、拓展词典---ik_max_word）
最新发布
2302_79020600的博客
06-23 1140
分词器的作用是什么？创建倒排索引时，对文档分词用户搜索时，对输入的内容分词IK分词器有几种模式？ik_smart：智能切分，粗粒度：最细切分，细粒度IK分词器如何拓展词条？如何停用词条？利用config目录的文件添加拓展词典和停用词典在词典中添加拓展词条或者停用词条。
Elasticsearch实战（四）---中英文分词及拼音搜索
流浪的喵的博客
06-05 2168
Elasticsearch 自定义分词规则，IK分词处理，拼音搜索
ElasticSearch使用IK分词器自定义分词不起作用
weixin_44462294的博客
06-14 6683
问题 ElasticSearch安装IK分词器后，写了一个自己的自定义分词 但是配置之后使用 GET _analyze { "analyzer": "ik_max_word", "text": "超级挖槽" } 结果 { "tokens" : [ { "token" : "超级", "start_offset" : 0, "end_offset" : 2, "type" : "CN_WORD", "position" :
ElasticSearch：分词
简单随风的博客
06-29 1550
es内置分词器 standard：默认分词，单词会被拆分，大小会转换为小写。 simple：按照非字母分词。大写转为小写。 whitespace：按照空格分词。忽略大小写。 stop：去除无意义单词，比如the/a/an/is… keyword：不做分词。把整个文本作为一个单独的关键词。 restful风格使用 POST /_analyze { "analyzer": "standard", // 分词器 "text": "text文本" // 需要分词的
Elasticsearch 分词器的使用与IK分词器安装
scdncby的博客
08-13 734
Elasticsearch 分词器安装与使用 ES内置分词器 standard：默认分词器，简单会被拆分，英文统一转换为小写 simlle：按照非字母分词，英文统一转换为小写 whitespace：按照空格分词 stop：去除无意义的单词，比如：the、is、a、an keyword：不做分词，把文本的整体当作一个单独的关键词 测试分词结果 指定分词器测试结果 GET http://192.168.213.154:9200/_analyze POST http://192.168
elasticsearch-analysis-ik 7.10.0 分词器
01-10
**Elasticsearch Analysis IK 7.10.0 分词器详解** Elasticsearch 分词器是搜索引擎核心组件之一，负责将输入的文本拆分成可搜索的独立单元——词语。在中文环境中，这个过程尤为重要，因为中文句子由多个汉字组成...
elasticsearch7.17.11版本分词器插件安装包
11-13
**Elasticsearch 7.17.11 分词器插件详解** Elasticsearch（简称ES）是一款基于Lucene的分布式、RESTful搜索引擎，广泛应用于日志收集、数据分析等领域，是ELK（Elasticsearch、Logstash、Kibana）堆栈的重要组成...
IK分词器elasticsearch-analysis-ik-7.17.16
12-24
IK分词器是针对Elasticsearch设计的一款强大的中文分词插件，其全称为"elasticsearch-analysis-ik"。在Elasticsearch中，分词器的作用至关重要，它负责将用户输入的文本进行词汇切分，以便进行后续的搜索和分析操作...
elasticsearch分词器插件
11-27
为了解决这个问题，我们引入了"es-ik"插件，这是一个专门为Elasticsearch设计的中文分词器。 "es-ik"全称为"Elasticsearch IK Analyzer"，由开源社区维护，是Elasticsearch中最受欢迎的中文分词解决方案之一。它的...
elasticsearch7.17.10版本分词器插件安装包
11-13
**Elasticsearch 7.17.10 分词器插件安装详解** 在日志收集和数据分析领域，Elasticsearch（简称ES）扮演着重要的角色。作为一个强大的全文搜索引擎，Elasticsearch允许用户通过简单的API进行数据索引、搜索、分析...
elasticsearch搜索结果不准确 搜索不到 的一个问题 ik 特殊符号 空格 拆词
haiyang4988的博客
08-15 5374
自定义不拆分词的时候，里面不能出现“ ”（空格），否则，ik会把它拆分掉，比如你定了了 “蚂蚁 搬家”和“蚂蚁搬家” ，其中“蚂蚁 搬家”会被拆分，而“蚂蚁搬家”不会被拆分 实际上ik还会对类似“+”等进行炒粉，即使你定了不拆分，不知道怎设置ik的配置可以使它按照我的想法来，最后一个解决方案就是，把这些符号替换为文字，包括创建索引的时候和搜索进行拆词的时候
Elasticsearch的分词器
libiao1994libiao的博客
08-23 178
什么是分词？ 把文本转换为一个个的单词，分词称之为analysis。es默认只对英文语句做分词，中文不支持，每个中文字都会被拆分为独立的个体。 es内置分词器 standard：默认分词，单词会被拆分，大小会转换为小写。 simple：按照非字母分词。大写转为小写（例如标点符号）。 whitespace：按照空格分词。忽略大小写。 stop：去除无意义单词，比如the/a/an/is… keyword：不做分词。把整个文本作为一个单独的关键词 ik 分词器版本和elasticsearch版本不对应报错，导致
IK分词组件大小写的问题
atarik@163.com
08-27 3585
IK分词器在加载词典时, 词典中的大小写字符加载到内存时一律变为小写, 但是在分词时大小写是不会转换的, 所以就有以下情况发生: 当词典中有"HL定理", 对"HL定理的应用"分词时是不能分出"HL定理"的, 处理办法:在讲要分词的句子输入分词器前, 先将所有的大些字母转化为小写, 这样分词出来的就是 "hl定理"
Elasticsearch搜索中文分词优化-ik_max_word,和ik_smart模式
热门推荐
yinni11的博客
02-25 1万+
Elasticsearch 中文搜索时遇到几个问题: 当搜索关键词如：“人民币”时，如果分词将“人民币”分成“人”，“民”，“币”三个单字，那么搜索该关键词会匹配到很多包含该单字的无关内容,但是如果将该词分词成一个整词“人民币”，搜索单字如“人”字又不会匹配到包含“人民币”关键词的内容,怎么解决这个问题,既保证覆盖度又保证准确度? 搜索“RMB”时只会匹配到包含“RMB”关键词的内...
ik分词器
qq_55682798的博客
08-22 423
ik_max_word为最细切分，能切的都会被切掉； 安装到es中的plugins 如果重新启动es的时候报错的话,先将es的索引删除,在重新添加索引，从新添加的索引定义一下分词,在将ik重新放入到plugins中
IK分词器
pfdsj_1017的博客
04-25 583
IK分词器 IK分词器概念： 不管是中文还是英文，都有很多次。如果不做分词，直接全匹配。那就匹配的信息很少。比如你收百度："如何学习Java"，你收到的不仅仅是是只有这个标题的信息。可能会有如何学习相关的信息。 ik分词器提供了两种分词算法：ik_smart,ik_max_word.其中ik_smart为最少切分，ik_max_word为最细力切分。 最少切分：会自动把我是中国人分成三个，累加就是所有的词汇。 最细力度：穷尽所有，会根据词典，将所有词进行分词...
elasticsearch分词器
07-28
Elasticsearch是一个开源的分布式搜索和分析引擎，它提供了强大的全文搜索和分析功能。在Elasticsearch中，分词器是用于将文本字段拆分成有意义的单词（或词组）的组件。 Elasticsearch提供了多种内置的分词器，也支持自定义分词器。以下是常用的一些内置分词器： 1. Standard Analyzer：这是默认的分词器，使用标准的语法规则来拆分单词，包括去除停用词、小写化等操作。 2. Simple Analyzer：这个分词器将文本按照非字母字符进行简单拆分，不考虑大小写转换和停用词。 3. Whitespace Analyzer：这个分词器将文本按照空格进行拆分，不考虑大小写转换和停用词。 4. Keyword Analyzer：这个分词器将整个文本视为一个单词，不进行任何拆分。 5. Language-specific Analyzers：Elasticsearch还提供了针对特定语言的分词器，如English Analyzer、Chinese Analyzer等，根据不同语言的特点进行了优化。 除了以上内置的分词器，Elasticsearch还支持自定义分词器，您可以根据自己的需求定义自己的分词逻辑。自定义分词器可以使用各种过滤器、字符映射等来实现更复杂的分词操作。 希望这些信息对您有所帮助！如果您有更多关于Elasticsearch分词器的问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值