一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】

最新推荐文章于 2024-08-15 09:23:30 发布
最新推荐文章于 2024-08-15 09:23:30 发布
阅读量773 收藏 16
点赞数 21
分类专栏： 2024年程序员学习 文章标签： elasticsearch c# 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84181501/article/details/137503611
版权
本文详细介绍了如何自定义Elasticsearch的IK分词器，包括修改IKAnalyzer.cfg.xml配置文件，调整词库，以及在nginx中的设置。通过POST _analyze API进行测试，展示了自定义分词器的效果。同时，文章还提到了在项目中创建索引并指定分词器的重要性。
摘要由CSDN通过智能技术生成

在这里插入图片描述

提示：能够看出不同的分词器，分词有明显的区别，所以以后定义一个索引不能再使用默认的 mapping 了，要手工建立 mapping, 因为要选择分词器

3、自定义词库

3.1 修改IKAnalyzer.cfg.xml

修改/usr/share/elasticsearch/plugins/ik/config/中的 IKAnalyzer.cfg.xml ，如果进行了目录挂载，只需要在外部对应目录修改就行，我这里的外部挂载目录是：/mydata/elasticsearch/plugins/ik/config

在这里插入图片描述

在这里插入图片描述

3.2 nginx的设置

首先你要安装了nginx，我这以下操作步骤是基于nginx挂载到外部目录。

在这里插入图片描述

最低0.47元/天 解锁文章
2401_84181501
关注
专栏目录
中文分析器IK-Analyzer的使用
AthlenaA的博客
08-30 1575
中文分析器IK-Analyzer的使用 在Solr中默认是没有中文分析器的，需要手工配置，配置一个FieldType，在FieldType中指定中文分析器。另外，Solr中的字段必须先定义，后使用。 下面分步骤进行操作 第一步：将IK-Analyzer的压缩包上传到solr服务器上。如下所示。 [root@solr-server software]# ll 总用量 335576 drwxr-xr-...
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】(1)
2401_84167046的博客
04-13 332
提示：能够看出不同的分词器，分词有明显的区别，所以以后定义一个索引不能再使用默认的 mapping 了，要手工建立 mapping, 因为要选择分词器修改/usr/share/elasticsearch/plugins/ik/config/中的 IKAnalyzer.cfg.xml ，如果进行了目录挂载，只需要在外部对应目录修改就行，我这里的外部挂载目录是：首先你要安装了nginx，我这以下操作步骤是基于nginx挂载到外部目录。 需要将这个链接地址放置到中对应的远程词库目录 我这里最终的目的是项目中要使
Lucene的中文分词器IKAnalyzer
zzu09huixu的专栏
07-25 746
分词器对英文的支持是非常好的。 　　一般分词经过的流程： 　　1）切分关键词 　　2）去除停用词 　　3）把英文单词转为小写 　　但是老外写的分词器对中文分词一般都是单字分词，分词的效果不好。 　　国人林良益写的IK Analyzer应该是最好的Lucene中文分词器之一，而且随着Lucene的版本更新而不断更新，目前已更新到IK Analyzer 2012版本
IK Analysis插件安装与使用指南
最新发布
gitblog_00596的博客
08-15 591
IK Analysis插件安装与使用指南 analysis-ik???? The IK Analysis plugin integrates Lucene IK analyzer into Elasticsearch and OpenSearch, support customized dictionary.项目地址:https://gitcode.com/gh_mirrors/ana/analysi...
使用IKAnalyzer进行中文分词
Stereo
04-17 1655
在不需要标注词性的情况下，IKAnalyzer这个工具能实现较好的分词效果。下载地址：https://code.google.com/p/ik-analyzer/ 下载下来以后能看到有个pdf文档告诉该如何使用，不过作者貌似没有提到需要用到lucene包，这个jar包可以从这里下载：http://grepcode.com/snapshot/repo1.maven.org/maven2/org
【IKAnalyzer】IKAnalyzer中文分词器的使用
HR的博客
04-02 3690
IKAnalyzer中文分词器的使用 IK-Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包，也就是可以将一串中文字符分割成一个个的词组或者字词 安装 修改pom文件 <dependency> <groupId>com.janeluo</groupId> <artifactId>ikanalyzer</artifactId> &lt
2.IKAnalyzer 中文分词器配置和使用
weixin_34315485的博客
06-21 92
一、配置 IKAnalyzer中文分词器配置，简单，超简单。 IKAnalyzer中文分词器下载，注意版本问题，貌似出现向下不兼容的问题，solr的客户端界面Logging会提示错误。 给出我配置成功的版本IKAnalyzer2012FF_hf1（包含源码和中文使用手册），我的solr是4.7的，当然相应的Lucene也是4.7的，链接地址： http://code.goog...
IK分词器elasticsearch-analysis-ik-7.17.16
12-24
IK分词器是针对Elasticsearch设计的一款强大的中文分词插件，其全称为"elasticsearch-analysis-ik"。在Elasticsearch中，分词器的作用至关重要，它负责将用户输入的文本进行词汇切分，以便进行后续的搜索和分析操作...
7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器
08-07
elasticsearch-analysis-ik 是一个常用的中文分词器，在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个主要特点： 中文分词：elasticsearch-analysis-ik 是基于...
windows版本ES7.17.3中文分词器elasticsearch-analysis-ik-7.17.3 .zip
02-05
用于elasticsearch7.17.3这个版本的ik中文分词器，考虑到官网有时网络不稳定下载不下来，这里特意上传，方便大家使用； 目录结构如下： config -- 文件夹 plugin-security.policy plugin-descriptor.properties ...
大数据工具：IKAnalyzer分词工具介绍与使用
热门推荐
maoyuanming0806的博客
10-28 1万+
简单介绍IKAnalyzer分词工具与使用 文章目录简介IKAnalyzer的引入使用IK的两个重要词典IK的使用 简介 以下简介参考前辈和项目文档介绍 为什么要分词呢，刚开始介绍的时候介绍过，我们要提取语句的特征值，进行向量计算。所有我们要用开源分词工具把语句中的关键词提取出来。至于详细的介绍我们后期进行项目实战的时候会一一介绍，目前我们只需要学会用这个工具，为之后的项目实战打下基础...
IKAnalyzer 中文分词器
qq_36864672的博客
02-01 1629
量级 | 的 | 中文 | 分词 | 工具包 | 工具 | 包 | 从 | 2006 | 年 | 12 | 月 | 推出 | 1.0 || 的 | 里氏 | 6.2 | 级 | 地震 | 已经 | 造成 | 至少 | 5427 | 人 | 死亡 | 20000 | 余人 |ikanalyzer | 是 | 一个 | 开源 | 的 | 基亍 | java | 语言 | 开发 | 的 | 轻量级 | 的 | 中。参数 2 : boolean useSmart , 是否采用智能切分策略。
分词使用 jieba 、IKAnalyzer
weixin_43543654的博客
03-23 1097
表中因早起原因分别创建两套部门表。概述登录人为A/B不同类型，可选的部门范围不同。但是后来发现B类人员可选A类中部门，故对于B来说 部门取并集！相同名称或类似名称部门怎么办？1.重复2.类似的都要保留一个。然后修改原先数据思路：1.先分词 2.然后比较看相似度/匹配度直接代码：注意：最后计算相似度的会报错，因为借用其他算法。后面可看，不想改了，测试可自己改下。
Elasticsearch进阶篇(三)：ik分词器的使用与项目应用
后端开发
04-21 4653
本文详细介绍了在Elasticsearch中安装、配置和使用IK分词器的过程。首先，它提供了两种安装方式：使用已编译的包文件或者源代码编译。然后，说明了如何将分词器安装到Elasticsearch中，并启动Elasticsearch来验证安装是否成功。接下来，介绍了IK分词器提供的两种主要分词模式：细粒度分词模式（ik_max_word）和智能分词模式（ik_smart），并展示了它们的使用示例。最后，它详细解释了IK分词器的配置文件作用，包括主要的配置文件和自定义词库的使用方法，并提供了相关的参考链接
【IKAnalyzer中文分词器详解-(1)分词逻辑】
luly0630的专栏
12-30 952
2012年版的中文分词器IKAnalyzer，放在现在看还是很赞的！
ElasticSearch系列（四）ES集成IK分词器以及使用方式
雨剑的博客
04-13 1万+
ES的分词器 ES默认的分析器，是标准分词器， { "tokens": [ { "token": "正", "start_offset": 0, "end_offset": 1, "type": "<IDEOGRAPHIC>", "posit...
Elasticsearch 8.15.0中文分词新工具：elasticsearch-analysis-jieba发布
该分词器利用了jieba这一流行的Python分词库，为Elasticsearch提供了强大的中文处理能力。Jieba分词器支持将中文文本分割成有意义的词汇单元，从而提高了中文搜索的准确性和相关性。 Jieba分词器的打包版本包含了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值