Elasticsearch 核心技术（七）：IK 中文分词器的安装、使用、自定义字典

最新推荐文章于 2024-08-19 10:59:05 发布
最新推荐文章于 2024-08-19 10:59:05 发布
阅读量2k 收藏 11
点赞数 12
分类专栏： 大数据核心技术从入门到精通 文章标签： elasticsearch 中文分词 搜索引擎 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_67276852/article/details/129423235
版权
本文介绍了如何安装Elasticsearch的IK分词器，包括手动下载和使用elasticsearch-plugin命令安装。详细阐述了ik_max_word和ik_smart两种分词模式的使用，并讲解了如何自定义字典，包括本地字典和远程字典的配置，以实现更精确的中文分词效果。
摘要由CSDN通过智能技术生成

在这里插入图片描述

❤️ 博客主页：水滴技术
🚀 支持水滴：点赞👍 + 收藏⭐ + 留言💬
🌸 订阅专栏：大数据核心技术从入门到精通

文章目录

大家好，我是水滴~~

IK 中文分词器是 Elasticsearch 的一个插件，它集成了 Lucene IK analyzer，支持自定义字典。

一、安装 IK 分词器

安装 IK 分词器有两种方式，我们来看一下

方式一：自行下载并解压安装包

了解本专栏 订阅专栏 解锁全文
Elasticsearch（七）安装中文分词器
wolfcode_cn的博客
08-21 9937
分词组件 elasticsearch提供了几个内置的分词器：standard analyzer(标准分词器)、simple analyzer(简单分词器)、whitespace analyzer（空格分词器）、language analyzer（语言分词器），而如果我们不指定分词器类型的话，elasticsearch默认是使用标准分词器的。那接下来我们先来看看这几种分词器的特点。 ps：我们可以...
Elasticsearch安装IK分词器、配置自定义分词词库
Java+GO+JS全栈工程师-鹤冲天的博客：编程辅导~商务合作~技术交流
02-09 4018
借助 Elasticseach 的文本分析功能可以轻松将搜索条件进行分词处理，再结合倒排索引实现快速检索。Elasticseach 提供了三种分词方法：单字分词，二分法分词，词库分词。
Ik分词器自定义词典
Always on the road
11-17 5717
词典配置：IKAnalyzer.cfg.xml [html] view plain copy 1. <?xml version="1.0" encoding="UTF-8"?> 2. <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> 3. <properties&gt...
ElasticSearch IK分词器的MySQL热部署字典（Docker）
最新发布
qq_52464274的博客
08-19 535
ElasticSearch 1.17.2版本使用mysql热部署IK词典的详细流程
elasticsearch安装中文分词器
拿着核武器的程序员的博客
11-08 331
1.下载分词安装包 本文使用的是ik分词器，如下： 2.解压安装包 在plugins目录下创建名为ik的文件夹，解压至elasticsearch的plugins目录下的ik文件夹下： 3.重启elasticsearch 测试分词器，结果如下图： 注意： 这里的分词器需要是ik_smart或者ik_max_word，不是ik，使用ik会报错! ...
【elasticsearch】IK分词器添加自定义词库，然后更新现有的索引
提笔忘字的帝国
07-05 939
进入elasticsearch中的plugins位置，找到ik分词器插件，进入ik插件的config文件夹，当中有一个IKAnalyzer.cfg.xml配置文件。编辑好保存退出后就会在当前位置多出一个my.dic文件（修改好保存后，在当前位置直接使用命令。
ElasticSearch ik分词器自定义词库
张俊杰 的博客
11-06 1625
每年都会涌现一些特殊的流行词，网红，蓝瘦香菇，喊麦，鬼畜，一般不会在ik的原生词典里,所以这样的话自己补充自己的最新的词语，到ik的词库里面去. 你可以直接在IKAnalyzer.cfg.xml文件夹下面ext_dict那里配置自己的词库, 补充自己的词语，然后需要重启es，才能生效 自己建立停用词库：比如了，的，啥，么，我们可能并不想去建立索引，让人家搜索 你可以直接在IKAnalyzer.cfg.xml文件夹下面ext_stopwords那里配置自己的停用词库 具体操作参考,很简单: https://w
elasticSearch(ES)最新版 ik分词插件7.10 elasticsearch-analysis-ik-7.10.0
11-20
在实际使用中，你需要将这些jar文件复制到Elasticsearch的lib目录下，并通过Elasticsearch的命令行工具或API来安装和启用IK分词插件。配置文件的修改可以定制化分词行为，例如添加自定义字典，以适应特定领域的词汇...
ElasticSearch7.3学习(十五)----中文分词器(IK Analyzer)及自定义词库
「 虚幻私塾」
03-29 4124
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 1、 中文分词器 1.1 默认分词器 先来看看ElasticSearch中默认的standard 分词器，对英文比较友好，但是对于中文来说就是按照字符拆分，不是那么友好。 GET /_analyze { "analyzer": "standard", "text": "
ElasticSearch 的 ik 分词器 的安装 与 使用
norang的博客
09-30 1050
这里写目录标题ik分词器什么是IK分词器 ?安装ik分词器增加自己的配置！参考目录 ik分词器 什么是IK分词器 ?        分词:即把一-段中文或者别的划分成一个个的关键字,我们在搜索时候会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作,默认的中文分词是将每个字看成一个词,比如“我爱狂神”会被分为"我",“爱”,“狂”,“神” ,这显然是不符合要求的,所以我们需要安装中文分词器ik来解决这个问题
Elasticsearch分词器-中文分词器ik
idooy的学习笔记
10-25 525
因为本人使用Docker安装ES，并在docker run的使用将plugins挂载到了宿主机的 /home/es-kibana/volume/plugins目录下；所以就直接在该目录下创建ik文件夹，并执行上面的解压命令。默认的 standard analysis 对每个汉字进行了分词，显然这不是我们所期望。也不局限于这一种方式，只要能把zip下载并上传到服务器上怎么样都行。，找到和当前ES匹配的版本,ik的版本是跟着ES走的。该API会将文本内容分词成如下单词。ik提供了两种分词器。
ik-analyzer 分词字典
07-15
ik-analyzer 分词字典 支持solr6
IK-Analyzer 分词器所需要的配置文件、扩展词典及停用词词典 完整包下载
12-25
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。 采用了特有的“正向迭代最细粒度切分算法”，具有60万字/秒的高速处理能力。 采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。 Linux下Solr4.10.4搜索引擎的安装与部署图文详解 : http://blog.csdn.net/Hello_World_QWP/article/details/78864823
IK词典配置文件
03-01
IK词典配置文件 zip文件 解压即可得到
16-ElasticSearch-IK分词器-自定义词汇
minihuabei的博客
05-12 217
4.4 自定义词库 如果要让分词器支持一些专有词语，可以自定义词库。 你会发现诺云是公司名称，但是被分开了，所以我们需要自定义词。因为分词器只能把我们生活中比较通用的词加进去，而一些品牌的名称不会加进入，需要我们自己添加。比如诺云这个品牌名称，我们也想在搜索时候，单独加进去，这时候就需要自定义词库。 iK分词器自带一个main.dic的文件，此文件为词库文件 在上边的目录中新建一个my.dic文件（注意文件格式为utf-8（不要选择utf-8 BOM）） 可以在其中自定义词汇： 比如定义： 配置文件中
ElasticSearch第五篇：IK分词器，自定义扩展字典
不经意的博客
05-29 5206
一、什么是ik分词器 分词：即把一段中文或者别的划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词，会把数据库中或者索引库中的数 据进行分词，然后进行一个匹配操作，默认的中文分词是每个字看成一个词，比如“我爱狂神”会被分为“我，“爱”，“狂”，“神”，这显 然是不符合要求的，所以我们需要安装中文分词器ik来解决这个问题， IK提供了两个分词算法：ik_smart和ik_max_word，其中ik_smart为最少切分，ik_max_word为最细粒度划分！ 二、如何使用 1.下载 各版本下载
Elasticsearch中自定义扩展IK分词器字典
m0_37561303的博客
05-03 548
在Elasticsearch中我们常使用IK分词器进行语句分词，但是有时候一些生僻的词汇，IK分词器也无法分割，此时就需要我们进行自定义分词。 在Elasticsearch中使用IK分词器还是比较简单的，上篇文章中我们说过docker中安装Elasticsearch，并将文件夹映射到本地文件夹中，所以此时我们仅需将IK分词器下载解压到本地Elasticsearch映射的文件夹下 如图所示，直接将IK分词器解压到Elasticsearch的plugins 文件夹下就好。 自定义扩展IK分词器字典 需要修改
安装IK分词器 + 扩展词典配置 + 停用词典配置
ros275229的博客
03-22 1830
安装IK分词器 + 扩展词典配置 + 停用词典配置
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

水滴技术

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值