一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】(1)

最新推荐文章于 2024-10-11 18:01:59 发布
最新推荐文章于 2024-10-11 18:01:59 发布
阅读量335 收藏 3
点赞数 10
分类专栏： 程序员 文章标签： elasticsearch c# 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84167046/article/details/137721196
版权
本文详细介绍了如何安装和使用Elasticsearch的IK分词器，强调了自定义词库的重要性，并提供了修改IKAnalyzer.cfg.xml的步骤以及在nginx中的设置指南。通过测试验证了配置的有效性，适用于需要在项目中应用分词器的场景。
摘要由CSDN通过智能技术生成

1.2 使用分词器（1）

POST _analyze
{
  "analyzer": "ik\_smart",
  "text": "我是中国人"
}

在这里插入图片描述

1.3 使用分词器（2）

POST _analyze
{
  "analyzer": "ik\_max\_word",
  "text": "我是中国人"
}

在这里插入图片描述

提示：能够看出不同的分词器，分词有明显的区别，所以以后定义一个索引不能再使用默认的 mapping 了，要手工建立 mapping, 因为要选择分词器

3、自定义词库

3.1 修改IKAnalyzer.cfg.xml

修改/usr/share/elasticsearch/plugins/ik/config/中的 IKAnalyzer.cfg.xml ，如果进行了目录挂载，只需要在外部对应目录修改就行，我这里的外部挂载目录是：/mydata/elasticsear

最低0.47元/天 解锁文章
2401_84167046
关注
专栏目录
IK分词器使用
yandong blog
02-21 965
语法 GET _analyze { "analyzer": "ik_smart", "text": "麻花疼" } { "tokens" : [ { "token" : "麻花", "start_offset" : 0, "end_offset" : 2, "type" : "CN_WORD", "position" : 0 }, { "token" : "疼", "start_offs
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
2401_84181501的博客
04-08 779
提示：能够看出不同的分词器，分词有明显的区别，所以以后定义一个索引不能再使用默认的 mapping 了，要手工建立 mapping, 因为要选择分词器修改/usr/share/elasticsearch/plugins/ik/config/中的 IKAnalyzer.cfg.xml ，如果进行了目录挂载，只需要在外部对应目录修改就行，我这里的外部挂载目录是：首先你要安装了nginx，我这以下操作步骤是基于nginx挂载到外部目录。 需要将这个链接地址放置到中对应的远程词库目录 POST _analyze {
Lucene 6.0下使用IK分词器
1.02^365=1377.41
07-14 8308
Lucene 6.0使用IK分词器需要修改修改IKAnalyzer和IKTokenizer. 使用时先新建一个MyIKTokenizer类,一个MyIkAnalyzer类：MyIKTokenizer.javaimport java.io.IOException; import java.io.Reader;import org.apache.lucene.analysis.Tokenizer; i
IK分词器的使用
黑科技的专栏
08-19 248
<dependency> <groupId>com.janeluo</groupId> <artifactId>ikanalyzer</artifactId> <version>2012_u6</version> <exclusions> <exclusion> <groupId>org.apache.lucene</groupId> .
全文检索服务 ElasticSearch---------IK分词器的使用
没有简介
08-27 1516
如果要让分词器支持一些专有词语，可以自定义词库。iK分词器自带的main.dic的文件为扩展词典，stopword.dic为停用词典。也可以上边的目录中新建一个my.dic文件（注意文件格式为utf-8（不要选择utf-8 BOM））可以在其中自定义词汇：比如定义：配置文件中 配置my.dic，全文检索服务 ElasticSearch---------Field。.........
中英文停止词表（stopword）
weixin_33953249的博客
11-23 1323
停止词，是由英文单词:stopword翻译过来的，原来在英语里面会遇到很多a，the，or等使用频率很多的字或词，常为冠词、介词、副词或连词等。如果搜索引擎要将这些词都索引的话，那么几乎每个网站都会被索引，也就是说工作量巨大。可以毫不夸张的说句，只要是个英文网站都会用到a或者是the。那么这些英文的词跟我们中文有什么关系呢？ 在中文网站里面其实也存在大量的stopword，我们称它为停止词。比...
windows版本ES7.17.3中文分词器elasticsearch-analysis-ik-7.17.3 .zip
02-05
用于elasticsearch7.17.3这个版本的ik中文分词器，考虑到官网有时网络不稳定下载不下来，这里特意上传，方便大家使用； 目录结构如下： config -- 文件夹 plugin-security.policy plugin-descriptor.properties ...
7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器
08-07
elasticsearch-analysis-ik 是一个常用的中文分词器，在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个主要特点： 中文分词：elasticsearch-analysis-ik 是基于...
IK分词器elasticsearch-analysis-ik-7.17.16
12-24
IK分词器是针对Elasticsearch设计的一款强大的中文分词插件，其全称为"elasticsearch-analysis-ik"。在Elasticsearch中，分词器的作用至关重要，它负责将用户输入的文本进行词汇切分，以便进行后续的搜索和分析操作...
ik分词器的基本使用
younger123rtyui9的博客
08-17 751
分词器的使用
maven 构建好的 IK 分词器，可直接使用
10-31
用于 Elasticsearch 2.2 的 中文分词器，已构建好，直接放入 Elasticsearch 的plugins 目录下使用
elasticSearch中IK分词器使用教程
04-16
详细讲解elasticSearch中IK分词器的使用，自己亲手总结编写，适用于实际开发中对中文进行分词查询。
IK分词器应用
什么最重要？算法！！
06-05 594
本篇博客的主要目的是介绍IK分词器与ES的集成使用. IK分词器简介 IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词 典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。 IK分词器3.0的特性如下： 1）采用了特有的“正
ElasticSearch-使用IK分词器进行分词
见证自己学习,成长的记录
06-24 2002
找到并且打开IKAnalyzer.cfg分词器配置文件自己自定义新建一个dic文件,一个dic就算一个字典,ik自带的字典是远远不够用的，我们需要手动去创建字典新增字典项内容并且保存然后把我们自定义配置的字典加入到配置文件让字典生效配置完之后保存,然后重启es,注意观察,在重启es的时候会发现黑窗口已经加载我们自定义的字典weiyihe.dic重启kibana,再次测试使用过自定义字典之后魏一鹤是否被分割不管是哪种分词,魏一鹤都没被分割！说明我们自定义字典配置成功！
Elasticsearch进阶篇(三)：ik分词器的使用与项目应用
后端开发
04-21 4745
本文详细介绍了在Elasticsearch中安装、配置和使用IK分词器的过程。首先，它提供了两种安装方式：使用已编译的包文件或者源代码编译。然后，说明了如何将分词器安装到Elasticsearch中，并启动Elasticsearch来验证安装是否成功。接下来，介绍了IK分词器提供的两种主要分词模式：细粒度分词模式（ik_max_word）和智能分词模式（ik_smart），并展示了它们的使用示例。最后，它详细解释了IK分词器的配置文件作用，包括主要的配置文件和自定义词库的使用方法，并提供了相关的参考链接
中文分词入门：使用IK分词器进行文本分词（附Java代码示例）
weixin_44107140的博客
07-16 7754
中文分词在文本处理和信息检索中扮演着重要的角色。本文将介绍IK分词器，一个基于Lucene的开源中文分词工具。我们将详细讨论IK分词器的特点和使用方法，并提供一个简单的Java示例来演示如何使用IK分词器进行中文文本分词。
【elasticsearch】IK分词器添加自定义词库，然后更新现有的索引
提笔忘字的帝国
07-05 848
进入elasticsearch中的plugins位置，找到ik分词器插件，进入ik插件的config文件夹，当中有一个IKAnalyzer.cfg.xml配置文件。编辑好保存退出后就会在当前位置多出一个my.dic文件（修改好保存后，在当前位置直接使用命令。
Elasticsearch08：es-ik添加自定义词库、热更新词库
weixin_40612128的博客
03-17 9460
一、自定义词库 针对一些特殊的词语在分词的时候也需要能够识别。 例如：公司产品的名称或者网络上新流行的词语 假设我们公司开发了一款新产品，命名为：数据大脑，我们希望ES在分词的时候能够把这个产品名称直接识别成一个词语。 现在使用ik分词器测试一下分词效果： [root@bigdata01 ~]$ curl -H "Content-Type: application/json" -XPOST 'http://bigdata01:9200/test/_analyze?pretty' -d '{"text":"
Spring Boot 集成 Elasticsearch入门教学
最新发布
IT界的奇葩
10-11 658
Elasticsearch 是一个分布式搜索引擎，用来处理大规模数据的存储、搜索和分析。它是基于 Apache Lucene 构建的，具备高效的全文搜索功能。ES 可以在海量数据中快速找到匹配的内容，并且支持复杂的查询逻辑，非常适合用于日志分析、商品搜索、数据可视化等场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值