ElasticSearch 中文分词器ik的安装、测试、使用、自定义词库、热更新词库

最新推荐文章于 2024-05-07 00:24:15 发布
最新推荐文章于 2024-05-07 00:24:15 发布
阅读量955 收藏
点赞数
分类专栏： ElasticSearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/willingtolove/article/details/118382154
版权

文章目录

# 实验环境

  • 操作系统：Ubuntu 18.0.4
  • ElasticSearch版本：7.13.2
  • 中文分词分词器IK：elasticsearch-analysis-ik-7.13.2

# ik分词器的下载、安装、测试

## 安装方法一：使用elasticsearch-plugin 安装

该方法只支持v5.5.1 之后的版本：

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.13.2/elasticsearch-analysis-ik-7.13.2.zip

## 安装方法二：下载编译好的包进行安装

1、下载

下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases
下载和ES相同版本的IK：
在这里插入图片描述

2、安装

因为elasticsearch-analysis-ik-7.13.2.zip是编译好的包，所以只需将elasticsearch-analysis-ik-7.13.2.zip解压到es的安装目录的/plugins/ik下面即可：

unzip -o elasticsearch-analysis-ik-7.13.2.zip -d /usr/share/elasticsearch/plugins/ik
3、重启ElasticSearch
查找es进程
ps -ef | grep elastic
杀掉es进程
kill -9 10713
重启es

进入es的安装目录的bin下，执行：

./elasticsearch -d

注意：如果遇到can not run elasticsearch as root报错，请查看这篇文章：
https://blog.csdn.net/willingtolove/article/details/118398026

4、测试
未使用ik分词器，使用默认分词器效果
POST 127.0.0.1:9200/_analyze
{
  "analyzer":"standard",
  "text":"中国人"
}

结果：

{
    "tokens": [
        {
            "token": "中",
            "start_offset": 0,
            "end_offset": 1,
            "type": "<IDEOGRAPHIC>",
            "position": 0
        },
        {
            "token": "国",
            "start_offset": 1,
            "end_offset": 2,
            "type": "<IDEOGRAPHIC>",
            "position": 1
        },
        {
            "token": "人",
            "start_offset": 2,
            "end_offset": 3,
            "type": "<IDEOGRAPHIC>",
            "position": 2
        }
    ]
}
使用IK分词器之后
POST 127.0.0.1:9200/_analyze
{
  "analyzer":"ik_max_word",
  "text":"中国人"
}

结果：

{
    "tokens": [
        {
            "token": "中国人",
            "start_offset": 0,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "中国",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "国人",
            "start_offset": 1,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 2
        }
    ]
}

# ik分词器使用说明

## ik的分词模式

ik有两种分词模式：ik_smart , ik_max_word

  • ik_smart：会将文本做最粗粒度的拆分，例如「中华人民共和国国歌」会被拆分为「中华人民共和国、国歌」
  • ik_max_word：k_max_word：会将文本做最细粒度的拆分，例如「中华人民共和国国歌」会被拆分为「中华人民共和国、中华人民、中华、华人、人民共和国、人民、共和国、共和、国、国歌」，会穷尽各种可能的组合

## 创建索引时设置ik分词

创建users索引：

PUT 127.0.0.1:9200/users
{
    "settings": {
		"number_of_shards": 3,
		"number_of_replicas": 2
	},
    "mappings": {
        "properties": {
            "name": {
                "type": "text"
            },
            "age": {
                "type": "integer"
            },
            "describe": {
                "type": "text",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_smart"
            }
        }
    }
}

从上面的例子中可以看到：

  • 索引users的describe字段的analyzer 属性设置为了ik_max_word，表示插入文档时，将describe字段按照ik_max_word做分词，然后插入倒排索引；
  • 索引users的describe字段的search_analyzer 属性设置为了ik_smart，表示在查询时，先对要查询的text类型的输入做按照ik_smart分词，再去倒排索引搜索；

# 自定义词库扩展

## 问题

有时候，我们搜索一些词库中没有的词，那应该是没有结果的；
比如："达文西"这个text，想通过搜索"文西"搜索出来。
首先看下："达文西"这个会被分成哪些词？

POST 127.0.0.1:9200/_analyze
{
  "analyzer":"ik_max_word",
  "text":"达文西"
}

{
    "tokens": [
        {
            "token": "达文西",
            "start_offset": 0,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 0
        }
    ]
}

从结果中可以看出，只能解析出一个词来，这样的话，搜索"文西"是搜索出来。

## 方法

通过自定义分词词典，来解决该问题。

1、首先进入es根目录中的plugins文件夹下的ik文件夹，进入config目录，创建mydic.dic文件

cd elasticsearch/plugins/ik/config
vi custom.dic

将自定义的词写进去：

达文
文西
2、打开IKAnalyzer.cfg.xml文件，将新建的mydic.dic配置其中
<properties>
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">mydic.dic</entry>
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords"></entry>
	<!--用户可以在这里配置远程扩展字典 -->
	<!-- <entry key="remote_ext_dict">words_location</entry> -->
	<!--用户可以在这里配置远程扩展停止词字典-->
	<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

如果有多个自定义字典，可以这样配置：

<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">custom/mydict.dic;custom/mydict1.dic</entry>
3、重启ES

重启后测试：

POST 127.0.0.1:9200/_analyze
{
  "analyzer":"ik_max_word",
  "text":"达文西"
}

{
    "tokens": [
        {
            "token": "达文西",
            "start_offset": 0,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "达文",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "文西",
            "start_offset": 1,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 2
        }
    ]
}

从结果中可以看到，"达文西"的被分词为：「达文西、达文、文西」三个词。说明自定义分词词典生效。

# 热更新 IK 分词

目前该插件支持热更新 IK 分词，通过上文在 IK 配置文件中的如下配置：

 	<!--用户可以在这里配置远程扩展字典 -->
	<entry key="remote_ext_dict">location</entry>
 	<!--用户可以在这里配置远程扩展停止词字典-->
	<entry key="remote_ext_stopwords">location</entry>

其中 location 是指一个 url，比如 http://yoursite.com/getCustomDict，该请求只需满足以下两点即可完成分词热更新。

该 http 请求需要返回两个头部(header)，一个是 Last-Modified，一个是 ETag，这两者都是字符串类型，只要有一个发生变化，该插件就会去抓取新的分词进而更新词库。
该 http 请求返回的内容格式是一行一个分词，换行符用 \n 即可。
满足上面两点要求就可以实现热更新分词了，不需要重启 ES 实例。
es-ik 插件源码关于热更新的逻辑：
在这里插入图片描述

# 示例接口

        [HttpHead("HotUpdate"), HttpPost("HotUpdate"), HttpGet("HotUpdate")]
        public IActionResult GetHotUpdateDic()
        {
            Response.Headers.Add("Last-Modified", DateTime.Now.Ticks.ToString());
            Response.Headers.Add("ETag", DateTime.Now.Ticks.ToString());
            return Content("达尔\r\n尔文\r\n丽莎");
        }

# 测试

在没有配置热更新ik词库时：

POST 127.0.0.1:9200/_analyze
{
  "analyzer":"ik_max_word",
  "text":"娜丽莎"
}

{
    "tokens": [
        {
            "token": "娜丽莎",
            "start_offset": 0,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 0
        }
    ]
}

配置热更新ik分词词库：

	<!--用户可以在这里配置远程扩展字典 -->
	<entry key="remote_ext_dict">http://192.168.2.95:1660/api/fulltextsearch/HotUpdate</entry>
	<!--用户可以在这里配置远程扩展停止词字典-->
	<entry key="remote_ext_stopwords">http://192.168.2.95:1660/api/fulltextsearch/HotUpdateEnd</entry>

配置热更新ik分词词库一分钟后，测试：

POST 127.0.0.1:9200/_analyze
{
  "analyzer":"ik_max_word",
  "text":"娜丽莎"
}

{
    "tokens": [
        {
            "token": "娜丽莎",
            "start_offset": 0,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "丽莎",
            "start_offset": 1,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 1
        }
    ]
}

从测试结果中可以看出，「娜丽莎」的分词结果「娜丽莎、丽莎」，说明热更新已生效。

willingtolove
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticsearch-analysis-ik2.x增加连续数字字母英语智能分词、动态词库刷新支持elasticsearch2.x以上
03-22
elasticsearch-analysis-ik根据elasticsearch-analysis-ik2.2.0基础上修改，支持elasticsearch2.2.0（已测）。增加连续数字、字母、英语及其组合智能分词（ik_smart、ik_max_word、ik_indistinct、ik_smart_indistinct启用）支持lucence5.x以上版本。 文件说明：本zip包含IKAnalyzer的src及elasticsearch可运行插件plugins两部分。 使用说明：修改src源码后可通过IKAnalzyerDemo、LuceneIndexAndSearchDemo测试分词及检索。将编译后jar包替换plugins中相应jar包即可使用。如：http://localhost:9200/xxx/_analyze?analyzer=ik_indistinct&pretty=true&text=这是个测试例子china1688
IK分词常用停止词库约1500个
01-23
IK分词常用停止词库约1500个 elasticsearch analysis ik分词器常用停止词库
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】(1)
最新发布
2401_84181986的博客
05-07 718
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！ 前言 一个 tokenizer（分词器）接收一个字符流，将之分割为独立的 tokens（词元，通常是独立的单词），然后输出 tokens 流。
elasticsearch 扩展词、停止词热更新方案 - 附代码
gxd_feiyu的博客
04-30 1396
最近要实现的一些功能需要让ES的扩展词、停用词能够热更新，达到让搜索更精确的目的。再此记录一下操作流程： ES版本：7.11.2 IK分词器版本：7.11.2 方式一：通过加载远程的方式热加载扩展词，停用词 分词器下载路劲：https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.11.2 将下载的分词文件解压到 ~/elasticsearch/plugins/ik 目录，如果缺少相关目录进行创建 mkdi...
Elasticsearch之插件Ik分词器详细测试
一笑生风
11-08 3298
Elasticsearch之插件Ik分词器详细测试 elasticsearch版本：6.7.2 这里主要测试三种分词器：Ik（ik_smart 、 ik_max_word）,standard（es自带的） 先看三种分词器分词效果： 可以看出 ik_smar ：智能中文语法拆分 | ik_max_word ：中文语法详细拆分 | standard：逐...
elasticsearch中文分词器插件elasticsearch-analysis-ik远程自定义词典热更新
荣耀之路
10-22 1009
elasticsearch analysis-ik 远程 自定义词典 热更新
【ES系列三】——ES集成ik分词并测试
一直在奋起，一直在路上
11-24 1万+
一、下载ik安装包    https://github.com/medcl/elasticsearch-analysis-ik/releases    注：一定要与ES版本保持一致(我ES用的是6.0.0所以ik也要下载6.0.0)，如下图：二、解压    1、可以通过命令：unzip 文件夹   进行解压    2、要是没有unzip命令可以通过命令：yum install unzip  进行安
Elasticsearch 之（25）重写IK分词器源码来基于mysql热更新词库
weixin_30404405的博客
05-25 436
热更新在上一节《IK分词器配置文件讲解以及自定义词库》自定义词库，每次都是在es的扩展词典中，手动添加新词语，很坑（1）每次添加完，都要重启es才能生效，非常麻烦（2）es是分布式的，可能有数百个节点，你不能每次都一个一个节点上面去修改es不停机，直接我们在外部某个地方添加新的词语，es中立即热加载到这些新词语热更新的方案（1）修改ik分词器源码，然后手动支持从m...
ElasticSearch 重写IK分词器源码设置mysql热词更新词库1
08-08
在本文中，我们将探讨如何利用Elasticsearch的IK分词器并对其进行源码改造，以实现热词库的动态更新，特别是通过MySQL数据库进行热词和停用词的定时更新。首先，我们要了解IK分词器的几种常用词库配置方式。 **0. ...
安装elasticsearch-analysis-ik中文分词器的步骤讲解
08-26
这样，ik分词器就安装成功了，Elasticsearch现在可以使用ik分词器来进行中文分词。 IK中文分词器的优点是支持自定义词库，可以根据需要添加或修改词库以满足不同的需求。此外，ik分词器还支持多种分词模式，例如...
7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器
08-07
elasticsearch-analysis-ik 是一个常用的中文分词器，在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个主要特点： 中文分词：elasticsearch-analysis-ik 是基于...
Elasticsearch08：es-ik添加自定义词库、热更新词库
weixin_40612128的博客
03-17 8597
一、自定义词库 针对一些特殊的词语在分词的时候也需要能够识别。 例如：公司产品的名称或者网络上新流行的词语 假设我们公司开发了一款新产品，命名为：数据大脑，我们希望ES在分词的时候能够把这个产品名称直接识别成一个词语。 现在使用ik分词器测试一下分词效果： [root@bigdata01 ~]$ curl -H "Content-Type: application/json" -XPOST 'http://bigdata01:9200/test/_analyze?pretty' -d '{"text":"
ik分词器的热词更新_ElasticSearch新增IK扩展词后，让历史数据生效方法
weixin_33816685的博客
12-23 466
问题描述IK是 ES 的中文分词插件。在IK新增热词后，不会去更新历史数据，即新添加的热词只对后续的数据生效。而实际上我们常常需要对历史数据进行更新。解决办法使用 ES 自己提供的 update_by_query 接口。调用接口：http://127.0.0.1:9200/index其他支持的参数refresh, wait_for_completion, wait_for_active_shard...
Elasticsearch中文IK分词器基于mysql热更新
热门推荐
JAVA拾贝
12-08 1万+
Elasticsearch实战 step1 建立热词和停用词表 -- ---------------------------- -- Table structure for ik_hot_word -- ---------------------------- DROP TABLE IF EXISTS `ik_hot_word`; CREATE TABLE `ik_hot_word` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'ID', .
es ik分词热更新MySQL,ElasticSearch（25）- 改IK分词器源码来基于mysql热更新词库
weixin_29038303的博客
03-19 138
代码地址已经修改过的支持定期从数据库中提取新词库，来实现热更新。代码：https://github.com/csy512889371/learndemo/tree/master/elasticsearch-analysis-ik-5.2.0概述es不停机，直接我们在外部某个地方添加新的词语，es中立即热加载到这些新词语热更新的方案1、修改ik分词器源码，然后手动支持从mysql中每隔一定时间，自动...
elasticsearch-修改IK分词器源码来基于mysql热更新词库
无
07-21 1436
热更新 每次都是在es的扩展词典中，手动添加新词语，很坑 （1）每次添加完，都要重启es才能生效，非常麻烦 （2）es是分布式的，可能有数百个节点，你不能每次都一个一个节点上面去修改 es不停机，直接我们在外部某个地方添加新的词语，es中立即热加载到这些新词语 热更新的方案 （1）修改ik分词器源码，然后手动支持从mysql中每隔一定时间，自动加载新的词库 （2）基于ik分词器原生支持的热...
Elasticsearch 分词器详解（热更新词库）
qq_34125999的博客
10-28 1735
【代码】Elasticsearch 分词器详解（热更新词库）
elasticsearch中IK分词器的web方式热更新
Hello World
10-09 1134
先找到IK分词器的配置文件IKAnalyzer.cfg.xml &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"&gt; &lt;properties&gt; &lt;comment&gt;IK A
Elasticsearch 修改IK分词器源码实现基于MySql的词库热更新
赵丙双的博客
12-02 853
Elasticsearch 修改IK分词器源码实现基于MySql的词库热更新官方提供的热更新方式自己实现基于MySQL的词库热更新数据库JDBC 配置pomsrc/main/assemblies/plugin.xmlsrc/main/resources/plugin-security.policy修改 DictionaryMySQL 热更新的实现类 DatabaseMonitor打包测试参考 首先下载 IK 分词器的源码，github地址，下载之后根据自己的 ES 版本切换到对应的分支，我的 ES 版本是
es 使用ik停词_es-ik自定义词库步骤
05-13
下面是使用 Elasticsearch 中的 IK 分词器进行停词和自定义词库的步骤： 1. 安装 Elasticsearch 和 IK 分词器插件。 2. 创建自定义词库文件，格式如下： ``` # 单个词语 词语1 词语2 ... # 带有词性的词语 词语1,词性1 词语2,词性2 ... ``` 注：词性可以不写，用逗号隔开。 3. 将自定义词库文件放置在 Elasticsearch 安装目录下的 `plugins/ik/config/` 目录下。 4. 修改 IK 分词器配置文件，指定停用词文件和自定义词库文件，示例如下： ``` { "index": { "analysis": { "analyzer": { "my_analyzer": { "type": "custom", "tokenizer": "ik_max_word", "filter": [ "my_stopwords", "my_synonyms" ] } }, "filter": { "my_stopwords": { "type": "stop", "stopwords_path": "stopwords.txt" }, "my_synonyms": { "type": "synonym", "synonyms_path": "synonyms.txt" } } } } } ``` 注：上面示例中使用了停用词文件和同义词文件，可以根据需要自行配置。 5. 创建索引并指定使用自定义分词器。 ``` PUT /my_index { "settings": { "analysis": { "analyzer": { "my_analyzer": { "type": "custom", "tokenizer": "ik_max_word", "filter": [ "my_stopwords", "my_synonyms" ] } }, "filter": { "my_stopwords": { "type": "stop", "stopwords_path": "stopwords.txt" }, "my_synonyms": { "type": "synonym", "synonyms_path": "synonyms.txt" } } } }, "mappings": { "properties": { "my_field": { "type": "text", "analyzer": "my_analyzer" } } } } ``` 6. 测试分词效果。 可以使用以下命令测试分词效果： ``` GET /my_index/_analyze { "analyzer": "my_analyzer", "text": "自定义分词器测试" } ``` 上述命令会返回分词结果，可以根据需要调整自定义词库和停用词文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值