玩转ES，一文教你掌握IK中文分词器

最新推荐文章于 2024-05-11 05:14:00 发布
最新推荐文章于 2024-05-11 05:14:00 发布
阅读量3.8k 收藏 29
点赞数 8
分类专栏： 跟着老万学ELK 文章标签： elasticsearch IK Analysis 中文分词 热更新 ik_max_word
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w1014074794/article/details/119762827
版权

前言

ES默认的分词器对中文分词并不友好，所以我们一般会安装中文分词插件，以便能更好的支持中文分词检索。
而ES的中文分词器中，最流行的必然是IK分词器。

一、IK分词器介绍

IK分词器在是一款基于词典和规则的中文分词器。这里讲解的IK分词器是独立于Elasticsearch、Lucene、Solr，可以直接用在java代码中的部分。实际工作中IK分词器一般都是集成到Solr和Elasticsearch搜索引擎里面使用。

IK分词采用Java编写。

IK分词的效果主要取决于词库，目前自带主词典拥有27万左右的汉语单词量。对于应用领域的不同，需要各类专业词库的支持。词库还可以自己维护。

IK分词器地址：https://github.com/medcl/elasticsearch-analysis-ik

IK分词器有两种分词模式：ik_max_word和ik_smart

二、IK分词器安装

1、离线安装

  1. 下载预编译的安装包，下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

IK分词器版本和ES版本的匹配关系：
在这里插入图片描述

  1. 创建创建目录
cd $ES_HOME/plugins/ && mkdir ik
  1. 解压安装包
    将下载的预编译包解压到新建的目录中
cp  elasticsearch-analysis-ik-7.13.0.zip    $ES_HOME/plugins/ik
cd  $ES_HOME/plugins/ik
unzip  elasticsearch-analysis-ik-7.13.0.zip

2、install在线安装

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.13.0/elasticsearch-analysis-ik-7.13.0.zip

三、分词模式

IK分词器有两种分词模式：

1.细粒度模式 ik_max_word
2.智能模式 ik_smart

2种模式的分词演示：

细粒度模式
采用细粒度模式ik_max_word:会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,华，人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合。

POST _analyze
{
  "text": ["中华人民共和国国歌"],
  "analyzer": "ik_max_word"
}

执行结果：

{
  "tokens" : [
    {
      "token" : "中华人民共和国",
      "start_offset" : 0,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "中华人民",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "中华",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "华人",
      "start_offset" : 1,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "人民共和国",
      "start_offset" : 2,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "人民",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 5
    },
    {
      "token" : "共和国",
      "start_offset" : 4,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 6
    },
    {
      "token" : "共和",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 7
    },
    {
      "token" : "国",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "CN_CHAR",
      "position" : 8
    },
    {
      "token" : "国歌",
      "start_offset" : 7,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 9
    }
  ]
}

分词规则：

  1. 当查询词在词典中不存在时，会按字拆分
    例如：在北–>在，北
  2. 当查询词在词典中存在，且长度为两个字时，有时拆分有时不拆分
    例如：甲乙–>甲乙 ， 联通–>联通，联，通
  3. 当查询词在词典中存在，且查询词的一部分也在词典在中存在，则分别拆分
    例如：甲乙丙丁–>甲乙丙丁，甲乙，丙丁 中国联通–>中国联通，中国，国联，联通，通
  4. 当查询词任意部分都不在词典中存储，则按字拆分

智能模式
智能模式ik_smart会做最粗粒度的拆分。比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”，适合 Phrase 查询。

POST _analyze
{
  "text": ["中华人民共和国国歌"],
  "analyzer": "ik_smart"
}

执行结果：

{
  "tokens" : [
    {
      "token" : "中华人民共和国",
      "start_offset" : 0,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "国歌",
      "start_offset" : 7,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 1
    }
  ]
}

分词规则：

  1. 当查询词在词典中不存在时，会按字拆分
    例如：在北–>在，北
  2. 当查询词在词典中存在，不做拆分
    例如：甲乙–>甲乙，甲乙丙丁–>甲乙丙丁
  3. 当查询词任意部分都不在词典中存储，则按字拆分

最佳实践：
依据上述规律，我们可以在写入数据时使用ik_max_word，增加分词数量，提高被命中几率，在查询数据时使用ik_smart，减少分词数量，提升结果准确率，减少无关结果

四、IK分词器实战

1、创建索引

说明：创建索引my-index-000001，字段content的类型为text。所以在数据写入时会进行分词存储。
通过analyzer属性指定写入分词器采用细粒度模式ik_max_word；通过search_analyzer属性指定查询时采用智能模式ik_smart

PUT my-index-000001
{
  "mappings": {
    "properties": {
      "content": {
        "type": "text", 
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      }
    }
  }
}

2、添加数据

PUT my-index-000001/_doc/1
{
  "content": "美国留给伊拉克的是个烂摊子吗"
}
PUT my-index-000001/_doc/2
{
  "content": "公安部：各地校车将享最高路权"
}
PUT my-index-000001/_doc/3
{
  "content": "中韩渔警冲突调查：韩警平均每天扣1艘中国渔船"
}
PUT my-index-000001/_doc/4
{
  "content": "中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"
}

3、全文检索查询

GET my-index-000001/_search
{
  "query": {
    "match": {
      "content": "中国"
    }
  },
  "highlight" : {
        "fields" : {
            "content" : {}
        }
    }
}

查询结果：

"hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 0.63013375,
    "hits" : [
      {
        "_index" : "my-index-000001",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 0.63013375,
        "_source" : {
          "content" : "中韩渔警冲突调查：韩警平均每天扣1艘中国渔船"
        },
        "highlight" : {
          "content" : [
            "中韩渔警冲突调查：韩警平均每天扣1艘<em>中国</em>渔船"
          ]
        }
      },
      {
        "_index" : "my-index-000001",
        "_type" : "_doc",
        "_id" : "4",
        "_score" : 0.63013375,
        "_source" : {
          "content" : "中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"
        },
        "highlight" : {
          "content" : [
            "<em>中国</em>驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"
          ]
        }
      }
    ]
  }

五、词典配置

很多时候默认的分词效果达不到线上使用的要求，这就需要不断维护扩展词典和停止词字典，提高分词匹配的准确性，优化用户体验。
在IK分词器中，主要可以维护2种词典，一种是扩展词典，可以自定义一些词语，提高分词精读。
另一种是停止词词典，停止词就是指不会被分词拆分出来的词语，不参与分词和检索操作。

可以通过修改IKAnalyzer.cfg.xml配置文件，来自定义词典。
IKAnalyzer.cfg.xml的位置为{plugins}/elasticsearch-analysis-ik-*/config/。
其中以dic结尾的文件都是词典。
在这里插入图片描述

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典，可以配置多个词典-->
	<entry key="ext_dict">custom/mydict.dic;custom/single_word_low_freq.dic</entry>
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords">custom/ext_stopword.dic</entry>
 	<!--用户可以在这里配置远程扩展字典 -->
	<entry key="remote_ext_dict">location</entry>
 	<!--用户可以在这里配置远程扩展停止词字典-->
	<entry key="remote_ext_stopwords">http://xxx.com/xxx.dic</entry>
</properties>

注意⚠️：
直接修改ext_dict属性中配置的字段里面的内容，并不能立刻生效。只有重启ES进程实例，修改的内容才会生效。
而通过远程扩展的字典，可以实现词典的热更新，不用重启ES进程实例。

六、热更新词典

目前该插件支持热更新 IK 分词，通过上文在 IK 配置文件中提到的如下配置

<!--用户可以在这里配置远程扩展字典 -->
<entry key="remote_ext_dict">location</entry>
<!--用户可以在这里配置远程扩展停止词字典-->
<entry key="remote_ext_stopwords">location</entry>

其中 location 是指一个 url，比如 http://yoursite.com/getCustomDict，该请求只需满足以下两点即可完成分词热更新。

  • 该 http 请求需要返回两个头部(header)，一个是 Last-Modified，一个是 ETag，这两者都是字符串类型，只要有一个发生变化，该插件就会去抓取新的分词进而更新词库。

  • 该 http 请求返回的内容格式是一行一个分词，换行符用 \n 即可。

满足上面两点要求就可以实现热更新分词了，不需要重启 ES 实例。

1、配置Nginx

设置Nginx的监听端口为8999，并且新增/getRemoteDic路径的location，用于读取IK分词器中配置的字典信息。

server {
        listen       8999;
        server_name  localhost;

        #charset koi8-r;
        #access_log  logs/host.access.log  main;
        location / {
            root   html;
            index  index.html index.htm;
        }
        #新增/getRemoteDic路径，用于读取字段
        location /getRemoteDic {
           alias /usr/local/src/elasticsearch-7.10.2/plugins/analysis-ik/config;
           autoindex on;
        }
        ……

访问{ip}:8999/getRemoteDic能够看到字典文件信息，说明访问路径配置成功。
在这里插入图片描述

2、新建扩展字典

新建扩展词典ext_my.dic

vi   ext_my.dic

宜尚
宜尚智能家具
帆软

新建扩展停止词词典my_stopword.dic

vi  my_stopword.dic

有限公司
有限
公司

3、配置IK远程字典

<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置远程扩展字典 -->       
         <entry key="remote_ext_dict">http://192.168.100.241:8999/getRemoteDic/ext_my.dic</entry> 
        <!--用户可以在这里配置远程扩展停止词字典-->
        <entry key="remote_ext_stopwords">http://192.168.100.241:8999/getRemoteDic/my_stopword.dic</entry>
</properties>

4、重启ES进程

在启动日志中，看见如下日志，说明扩展字段信息被正确加载。
在这里插入图片描述

5、验证字典效果

POST _analyze
{
  "text": ["宜尚科技有限公司"],
  "analyzer": "ik_max_word"
}

执行结果：

{
  "tokens" : [
    {
      "token" : "宜尚",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "科技",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    }
  ]
}

“宜尚”作为扩展词典中的词，被正确分词，而没有拆分成单个的字。
“有限公司”由于是扩展的停止词词典中的词，被排除在分词结果中。
说明扩展词典和停止词词典均生效了。

6、验证热加载

默认情况，“字节跳动”在ik_smart智能模式下，会被拆分成“字节”和“跳动”两个词。

POST _analyze
{
  "text": ["字节跳动有限公司"],
  "analyzer": "ik_smart"
}

{
  "tokens" : [
    {
      "token" : "字节",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "跳动",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    }
  ]
}

修改词典ext_my.dic，新增“字节跳动”

vi   ext_my.dic
宜尚
宜尚智能家具
帆软
字节跳动

ES会根据一定频率，重新加载远程字典信息。（这里我们没有执行ES进程重启操作，但是扩展的字典信息自动被重新加载）
在这里插入图片描述

重新尝试分词解析，"字节跳动"没有被继续拆分，说明热更新词典生效。

{
  "tokens" : [
    {
      "token" : "字节跳动",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 0
    }
  ]
}

总结

本文主要介绍了IK Analysis中文分词器的使用。
1、IK中文分词器如何安装，注意和ES版本的匹配关系。
2、介绍了IK分词器的2种模式：细粒度模式ik_max_word和智能ik_smart
3、2种模式的最佳实践：写入数据时使用ik_max_word，查询数据时使用ik_smart。
4、介绍了如何扩展IK分词器的词典。
5、实战说明，如何基于Nginx实现IK分词器扩展词典的热更新。

斗者_2013
关注
  • 8
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
elasticsearch-ik中文分词器7.6.2.zip
04-11
"elasticsearch-ik中文分词器7.6.2" 正是为了解决这个问题而设计的，它是专门为Elasticsearch 7.6.2版本定制的中文分词插件。 **IK分词器介绍** IK（Intelligent Chinese）分词器是为Java开发的一个成熟的中文分...
elasticsearch-7.0.0 版本 ik 中文分词器
08-20
**Elasticsearch 7.0.0 版本与 IK 中文分词器详解** Elasticsearch 是一款功能强大的开源搜索引擎，广泛应用于大数据分析、全文检索以及日志分析等领域。在处理中文文档时，为了实现精确的搜索和索引，我们需要使用...
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
最新发布
jarckv的博客
05-11 390
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取这里也有个小坑、我的是版本是7.17.2 ，然后这个版本也没说的不能用，第一次装了一个最新的版本；装完后、发现版本不匹配。又重新下载安装了同一个版本的版本对应位置：https://github.com/medcl/el
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】(2)
tencentes的博客
05-07 426
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取分词器 https://github.com/medcl/elasticsearch-analysis-ik直接将文件解压，放入到plugins目录下。如果你进行了目录挂载，就可以在容器外部操作。我这里进行了挂载，只需
IK分词器和Elasticsearch集成使用
zhiyikeji的博客
02-07 640
在学习分词之前，我们先看看es自带的分词效果："token" : "我" , "start_offset" : 0 , "end_offset" : 1 , "type" : "" , … } , {"token" : "是" , "start_offset" : 1 , "end_offset" : 2 , "type" : "" , … } , {
ES中文检索须知：分词器与中文分词器
Steve Wang's blog
04-21 1202
ES中文分词须知。。。
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】(5)
2401_84181253的博客
05-03 255
直接将文件解压，放入到plugins目录下。如果你进行了目录挂载，就可以在容器外部操作。我这里进行了挂载，只需要将解压后的文件放入到对应挂载目录就可以。 提示：能够看出不同的分词器，分词有明显的区别，所以以后定义一个索引不能再使用默认的 mapping 了，要手工建立 mapping, 因为要选择分词器修改/usr/share/elasticsearch/plugins/ik/config/中的 IKAnalyzer.cfg.xml ，如果进行了目录挂载，只需要在外部对应目录修改就行，我这里的外部挂载
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】(1)
2401_84181986的博客
05-07 775
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！ 前言 一个 tokenizer（分词器）接收一个字符流，将之分割为独立的 tokens（词元，通常是独立的单词），然后输出 tokens 流。
ElasticSearch 如何使用 ik 进行中文分词？
taylor的专栏
04-12 1878
大家好，我是历小冰。在《为什么 ElasticSearch 比 MySQL 更适合复杂条件搜索》 一文中，我们讲解了 ElasticSearch 如何在数据存储方面支持全文搜索和复杂条件查询，本篇文章则着重分析 ElasticSearch 在全文搜索前如何使用 ik 进行分词，让大家对 ElasticSearch 的全文搜索和 ik 中文分词原理有一个全面且深入的了解。 全文搜索和精确匹配 ElasticSearch 支持对文本类型数据进行全文搜索和精确搜索，但是必须提前为其设置对应的类型： keywo.
ElasticSearch安装中文分词器IKAnalyzer
qq_34285557的博客
12-23 1089
ElasticSearch安装中文分词器IKAnalyzer  本篇主要讲解如何在ElasticSearch中安装中文分词器IKAnalyzer，拆分的每个词都是我们熟知的词语，从而建立词汇与文档关系的倒排索引， 但是如果不使用中文分词，就会把文档每个字拆分成了一个词，对我们中文检索很不友好,本博客系统就是在ElasticSearch中安装了IKAnalyzer分词器从而实现首页的搜索功...
【转载】elasticsearch ik中文分词器控制最小粒度。单字查询解决方案。
清风唱诗人的博客
05-20 3424
前言:IK分词器最小拆分粒度是单字,如果我们直接使用match查询,会过多的结果,但是直接使用term查询,会导致大概率查不到数据,这里有一个match_parser的方式解决我们的尴尬.下边的文章转载自:一文搞懂match、match_phrase与match_phrase_prefix的检索过程 - 知乎 (zhihu.com) ps：上图的xmind文件，公号里可免费获取！ 一、在开始之前，完成数据准备： # 创建映射 PUT /tehero_index { "settings": {
ik分词器tar包 7.10.2
03-03
IK分词器是针对Elasticsearch（ES）的一款热门中文分词插件，其全称为“Intelligent Chinese Analyzer for Elasticsearch”。它由Java编写，旨在为中文文档提供高效、准确的分词处理。版本7.10.2是IK分词器的一个...
elasticsearch的ik中文分词器
11-04
**Elasticsearch与IK中文分词器** Elasticsearch（ES）是一款强大的开源搜索引擎，它基于Lucene构建，提供实时、分布式、可扩展的搜索和分析能力。在处理中文文档时，由于中文句子中词语之间没有明显的分隔符，因此...
安装elasticsearch-analysis-ik中文分词器的步骤讲解
08-26
安装elasticsearch-analysis-ik中文分词器的步骤讲解 IK中文分词器是一款中文的分词插件，支持自定义词库。安装elasticsearch-analysis-ik中文分词器的步骤包括下载和解压分词器、将分词器文件移动到Elasticsearch...
ES如何查询索引的全量数据
热门推荐
弹指天下
02-15 4万+
ES如何通过Scroll API查询索引全量数据
ES中如何实现like模糊查询
弹指天下
08-02 3万+
问题描述： 我们都知道ES针对复杂的多添加组合查询非常强大，也知道通过match可以实现全文检索查询（分词查询），但是如果现在我只需要实现类似mysql中的like全匹配模糊查询，该怎么实现呢？ 业务场景： 从content_index表中查询字段content中包含ES的记录。 在关系型数据库中对应的SQL语句： SELECT content FROM content_index WHERE content like '%ES%' 数据准备： ## 删除索引 ## DELETE co
ES深度分页查询详解
弹指天下
08-05 2万+
ES分页查询详解
"ElasticSearch个人详细总结：IK中文分词器安装与使用方法详解
除了IK分词器，Elasticsearch还提供了其他多种分词器，例如Standard分词器和Whitespace分词器等。用户可以根据实际需要选择合适的分词器。 在使用Elasticsearch的过程中，我们还可以使用Java API来连接和操作...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

斗者_2013

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值