IK分词器基础安装入门

安装

进入到elasticsearch的安装目录下, 找到bin目录。 执行里面的elasticsearch-plugin 命令,这个命令是管理es中的插件的。 ik分词器就是一个插件。

执行下面这个命令就可以安装成了, 注意IK分词器的版本要和es的版本一致才行。 具体哪个版本可以去github中去找。

bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.8.1/elasticsearch-analysis-ik-7.8.1.zip

安装完成之后需要重启一下es服务。 直接kill掉,在启动。

IK 分词器的分词过程

在这里插入图片描述
这里面的最后一部是说如果词句里面有英文的话,还会在进行分词过滤 。

不同分词效果

智能分词法和最大化分词法。
智能分词法就是尽量的保证不会有重复分词的情况下分词。
在这里插入图片描述
最大化分词,是说只要是一个词或者有意义的字都给分开。如下图: 有很多字重复出现了, 也有一个字就做为一个词。
在这里插入图片描述

查询分词和存储分词

可以看到下面这个图, 分成三部分, 一个是搜索存储做为中心保存数据。 二个是构建索引处理器通过分词规则将数据存储到搜索存储中。 三个是客户端将要搜索的词进行分词,然后分到这个分词去搜索存储查询。 其中第二部分和第三部分都使用到了分词器,而这个分词器是可以使用不同的分词器。
在这里插入图片描述

最佳实践: 索引数据的时候使用max_word,但是在查询的时候使用smart_word。当没有召回的时候,可以在搜索的时候指定使用max_word分词器。

停用词和主分词

停用词和主分词都包含在IK的配置文件中,可以在config目录下查看。

在这里插入图片描述

ES会在config目录下给插件创建自己的目录 。可以看到红色的为主分词文件,绿色的为停用词文件
在这里插入图片描述

停用词就是说词的时候,这些词不做为一个词创建索引 。

主分词就是这些词会做一个分词创建索引 。
可以看一下main.dic的内容。

在这里插入图片描述

交个朋友吧

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值