Ik分词器如何加载自定义词组

最新推荐文章于 2024-07-05 17:02:36 发布
最新推荐文章于 2024-07-05 17:02:36 发布
阅读量522 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43946883/article/details/103903501
版权

1.进入elasticsearch/plugins/ik/config目录
2.新建一个.dic文件，编辑内容（以utf8无bom保存, 如果不行加一些换行或者空出第一行）
3.修改IKAnalyzer.cfg.xml(在ik/config目录下)

IK Analyzer 扩展配置
<!‐‐用户可以在这里配置自己的扩展字典 ‐‐>
my.dic
<!‐‐用户可以在这里配置自己的扩展停止词字典‐‐>


4.重新启动elasticsearch,通过浏览器测试分词效果

不懂我问
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
elasticsearch给IK分词器添加自定义词汇
qq_28834355的博客
08-21 1765
案例 对 汽车改装鲨鱼鳍 这句进行分词 GET /_analyze { "analyzer": "ik_smart", "text": ["汽车改装鲨鱼鳍"] } 结果如下： { "tokens" : [ { "token" : "汽车", "start_offset" : 0, "end_offset" : 2, "type" : "CN_WORD", "position" : 0 }, { "t
es ik 词库添加词语_ElasticSearch学习笔记——ik分词添加词库
weixin_32063287的博客
01-13 563
前置条件是安装ik分词，请参考1.在ik分词的config下添加词库文件~/software/apache/elasticsearch-6.2.4/config/analysis-ik$ ls | grep mydic.dicmydic.dic内容为我给祖国献石油2.配置词库路径，编辑IKAnalyzer.cfg.xml配置文件，添加新增的词库3.重启es4.测试data.json{"analyz...
【elasticsearch】IK分词器添加自定义词库，然后更新现有的索引
最新发布
提笔忘字的帝国
07-05 544
进入elasticsearch中的plugins位置，找到ik分词器插件，进入ik插件的config文件夹，当中有一个IKAnalyzer.cfg.xml配置文件。编辑好保存退出后就会在当前位置多出一个my.dic文件（修改好保存后，在当前位置直接使用命令。
IK分词器-自定义分词
11-27 2784
我们首先测试一下IK分词器的ik_smart最少切分策略。 GET _analyze { "analyzer": "ik_smart", "text": "中国共产党" } 可以看到，使用ik_smart最少切分策略时，kibana只帮我们分词为一个"中国共产党"一个词。 下面我们修改成ik_max_word最细粒度划分策略看看效果如何： GET _analyze { "analyzer": "ik_max_word", "text": "中国共产党" } 如下就是IK分词器使用ik_
使用IK Analyzer实现中文分词之Java实现
03-29
IK Analyzer 是一个开源的，基于 java 语言开发的轻量级的中文分词工具包。从 2006年 12 月推出 1.0 版开始， IKAnalyzer 已经推出了 4 个大版本。最初，它是以开源项目Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件。 从 3.0 版本开始，IK 发展为面向 Java 的公用分词组件，独立于 Lucene 项目，同时提供了对 Lucene 的默认优化实现。 在 2012 版本中，IK 实现了简单的分词歧义排除算法，标志着 IK 分词器从单纯的词典分词向模拟语义分词衍化。
深度学习系列28：BPE分词模型
kittyzc的博客
05-17 1776
这个是当前英文分词的标准方法了。 1. 简介 在NLP模型中，输入通常是一个句子，例如I went to New York last week.。传统做法：空格分隔，例如[‘i’, ‘went’, ‘to’, ‘New’, ‘York’, ‘last’, ‘week’]。 BPE算法通过训练，能够把[‘loved’, ‘loving’, ‘loves’]拆分成[“lov”, “ed”, “ing”, “es”]几个部分，这样可以把词的本身的意思和时态分开，有效的减少了此表的数量。算法流程如下： 1）设定最大
IKAnalyzer2012FF_u1 ik solr分词器
04-30
2. **分词器**：在自然语言处理中，分词器是将连续的文本字符串分解成一系列独立的词汇单元（如单词或词组）的工具。对于中文，由于没有明显的空格分隔，分词显得尤为重要。分词的准确度直接影响到后续的文本分析、...
分词器ikanalyzerforsolr7.x.x
01-30
此外，ikanalyzer支持动态加载词典，方便在运行时更新分词规则，满足业务变化的需求。 在实际应用中，ikanalyzer可能会遇到一些挑战，例如处理网络语言、人名地名等特殊词汇，或者在大规模数据场景下的性能优化。...
alice 加入ik分词，中文空格分词，hanlp 语义分词
08-16
`ChineseSegmenter.java`是一个核心的中文分词类，包含了三种分词方法：`IKAnalysis1`、`IKAnalysis2`以及`appendSpace`。其中，`IKAnalysis2`被选定为主方法，负责处理中文分词。该方法采用HanLP进行分词，能够有效...
elasticsearch-analysis-ik-6.3.0 elasticsearch- 6.3.0 分词jar包
09-24
IK分词器是Elasticsearch中最常用的中文分词插件，它由社区维护并持续更新，以适应不断变化的中文词汇。在版本6.3.0中，IK已经经过了大量的测试和优化，能够提供准确、高效的分词效果，尤其适合处理中文的短语和多义...
IKAnalyzer-5.0.jar+solr-analyzer-extra-5.3.jar
12-02
例如，在电商网站中，用户可能会搜索“苹果手机”，而IK分词器可以将这个词组正确拆分为“苹果”和“手机”，从而提高搜索的相关性。在新闻网站上，IKAnalyzer可以处理新闻标题和内容，确保关键词的提取准确无误。 ...
Elasticsearch——IK分词器自定义词库
06-08 5694
一、业务场景 Elasticsearch是一个基于Lucene的搜索服务器，其引入IK分词器后，可以对中文进行分词。IK分词器分词的原理是在源文件中收集了很多词汇，仅在其中一个主要词汇文件main.dic文件中就有27W的词汇量。但是有的时候仅用分词器本身提供的通用词汇无法满足自己的项目特定的业务需求，比如说我要以“最长的电影”这一歌名作为搜索条件，所得到的结果如下图所示。 ...
ELK入门（十七）——Kibana之IK分词器安装、自定义和详细使用测试
Netceor的博客
02-24 1万+
一、前言 ik分词器是一个方便中文分词的工具，在英文中，基本是一个个的单词表征含义，而中文的词语分割很重要，比如小米手机，如果不用IK分词器，ES默认的分词结果是“小”“米”“手”“机”，而安装了分词器之后，可以识别“小米”“手机”，除基本单词切割外，我们也可以自己定义需要的单词，例如如果有必要的话，可以在配置文件中加入“米手”，单词分割就可以识别“小米”“米手”“手机”。利用分词器可以增强检索效果，更好地匹配数据内容，符合中文习惯。 二、安装 1.版本 我们要先找到对应我们ES版本的IK分词器，在
Elasticsearch安装IK分词器、配置自定义分词词库
Java+GO+JS全栈工程师-鹤冲天的博客：编程辅导~商务合作~技术交流
02-09 3936
借助 Elasticseach 的文本分析功能可以轻松将搜索条件进行分词处理，再结合倒排索引实现快速检索。Elasticseach 提供了三种分词方法：单字分词，二分法分词，词库分词。
es基本语句详解 查询语句详解
热门推荐
心比天高，仗剑走天涯，保持热爱，奔赴向梦想！
07-28 1万+
es基本语句详解 查询语句详解声明Rest风格索引的基本操作1. 创建一个索引2. 查看索引 我们使用elasticsearch-head3. 删除索引其它命令==文档的基本操作（重点）==添加数据修改文档删除文档查找（重重重点）通过id查找通过某个字段查找指定条件查找结果过滤排序分页查询多条件或与非查找过滤器：范围查找精确查找高亮查询 声明 本文涉及的es， elasticsearch-head， kibana， ik分词器的安装配置可以参考我的其它博客 本文主要参考狂神说java视频课程编写。主要是为了
Elasticsearch教程：ik自定义分词
学亮编程手记
08-20 124
以“新冠病毒肺炎”为例，我想让分词器将新冠作为一个词，由于ik分词器本身的词库中未录入这个词，我们在前面也看到了，ik分词器会将新冠作为两个字来处理；那么，这里手动录入这个词条。新冠成功分为一个词，而不是前面新，冠两个字。）：这里直接写在了main.dic中。
Elasticsearch (ES) 学习之路（三） IK 分词器安装与使用自定义词典
m0_67392409的博客
08-16 840
进入咱们的es plugins 下 进入ik分词器 目录，发现其配置文件中 ，说明了用户是可以自定义词典的！IK 分词的核心 也是分词依据 根据词典中的字 进行分词！那么我们按着此模式，也新建一个词典 随意取名.dic例如我定义一个词典 cd.dic 在其中输入我业务场景所用的南城都汇在修改我们的配置文件 加入我们的自定义词典从起es 测试 南城都汇 是否会分为一个完整的词汇发现是可以的 那么说明，咱们自定义词典也完成了目前IK 分词的基础使用就到这里，后续在项目中使用！！！...
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
m0_74932057的博客
04-28 341
提示：能够看出不同的分词器，分词有明显的区别，所以以后定义一个索引不能再使用默认的 mapping 了，要手工建立 mapping, 因为要选择分词器修改/usr/share/elasticsearch/plugins/ik/config/中的 IKAnalyzer.cfg.xml ，如果进行了目录挂载，只需要在外部对应目录修改就行，我这里的外部挂载目录是：首先你要安装了nginx，我这以下操作步骤是基于nginx挂载到外部目录。 需要将这个链接地址放置到中对应的远程词库目录 我这里最终的目的是项目中要使
进阶-第30__彻底掌握IK中文分词_IK分词器配置文件讲解以及自定义词库实战
qq_35524586的博客
03-14 553
1、ik配置文件 ik配置文件地址：es/plugins/ik/config目录 IKAnalyzer.cfg.xml：用来配置自定义词库 main.dic：ik原生内置的中文词库，总共有27万多条，只要是这些单词，都会被分在一起 quantifier.dic：放了一些单位相关的词 suffix.dic：放了一些后缀 surname.dic：中国的姓氏 ...
ik分词器自定义分词器
09-28
IK分词器是一个功能强大的分词工具，它可以通过自定义词典来实现自定义分词。要自定义分词器，你可以按照以下步骤进行操作： 1. 下载和安装IK分词器：将IK分词器安装包直接放在Elasticsearch的plugins文件夹下，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值