elasticsearch安装和使用ik分词器，分享Java资深架构师的成长之路

“token”: “程”,

“start_offset”: 6,

“end_offset”: 7,

“type”: “”,

“position”: 6

},

{

“token”: “师”,

“start_offset”: 7,

“end_offset”: 8,

“type”: “”,

“position”: 7

}

]

}

为了词项搜索能得到我们想要的结果，需要换一个分词器，理想的分词效果应该是"我们"、“是”、“软件”、“工程师”，ik分词器可以满足我们的要求，接下来开始实战；

注意事项

1. 下面的所有操作都使用es账号来进行，不要用root账号；

2. 编译ik分词器需要用到maven，如果您有docker，但是不想安装maven，可以参考《没有JDK和Maven，用Docker也能构建Maven工程》来编译工程；

下载IK分词器源码到Ubuntu

1. 登录ik分词器网站：https://github.com/medcl/elasticsearch-analysis-ik

2. 按照网站提供的版本对应表，确认我们要使用的分词器版本，很遗憾写文章的时候还没有匹配elasticsearch-6.5.0的版本，那就用master吧，也就是下图中的红框版本：

3. 如下图，点击下载zip文件：

4. 将下载的zip包放到Ubuntu机器上，解压后是个名为elasticsearch-analysis-ik-master的文件夹，在此文件夹下执行以下命令，即可开始构建ik分词器工程：

mvn clean package -U -DskipTests

5. 等待编译完成后，在target/release目录下会生产名为elasticsearch-analysis-ik-6.5.0.zip的文件，如下所示：

$ pwd

/usr/local/work/es/elasticsearch-analysis-ik-master

$ cd target/

$ ls

archive-tmp elasticsearch-analysis-ik-6.5.0.jar generated-sources maven-status

classes elasticsearch-analysis-ik-6.5.0-sources.jar maven-archiver releases

$ cd releases/

$ ls

elasticsearch-analysis-ik-6.5.0.zip

6. 停止集群中所有机器的elasticsearch进程，在所有机器上做这些操作：在elasticsearch的plugins目录下创建名为ik的目录，再将上面生成的elasticsearch-analysis-ik-6.5.0.zip文件复制到这个新创建的ik目录下；

7. 在elasticsearch-analysis-ik-6.5.0.zip所在文件夹下，执行目录unzip elasticsearch-analysis-ik-6.5.0.zip进行解压；

8. 确认elasticsearch-analysis-ik-6.5.0.zip已经复制到每个elasticsearch的plugins/ik目录下并解压后，将所有elasticsearch启动，可以发现控制台上会输出ik分词器被加载的信息，如下图所示：

至此，ik分词器安装完成，来验证一下吧；

验证ik分词器

1. 在postman发起请求，在json中通过tokenizer指定分词器：

POST test002/_analyze?pretty=true

{

“text”:“我们是软件工程师”,

“tokenizer”:“ik_max_word”

}

这一次得到了分词的效果：

{

“tokens”: [

{

“token”: “我们”,

“start_offset”: 0,

“end_offset”: 2,

“type”: “CN_WORD”,

“position”: 0

},

{

“token”: “是”,

“start_offset”: 2,

“end_offset”: 3,

“type”: “CN_CHAR”,

“position”: 1

},

{

“token”: “软件工程”,

“start_offset”: 3,

“end_offset”: 7,

“type”: “CN_WORD”,

“position”: 2

},

{

“token”: “软件”,

“start_offset”: 3,

“end_offset”: 5,

“type”: “CN_WORD”,

“position”: 3

},

{

“token”: “工程师”,

“start_offset”: 5,

“end_offset”: 8,

“type”: “CN_WORD”,

“position”: 4

},

{

“token”: “工程”,

“start_offset”: 5,

“end_offset”: 7,

“type”: “CN_WORD”,

“position”: 5

},

{

“token”: “师”,

“start_offset”: 7,

“end_offset”: 8,

“type”: “CN_CHAR”,

“position”: 6

}

]

}

可见所有可能形成的词语都被分了出来，接下试试ik分词器的另一种分词方式ik_smart；

2. 使用ik_smart方式分词的请求如下：

shellshell

POST test002/_analyze?pretty=true

{

“text”:“我们是软件工程师”,

“tokenizer”:“ik_smart”

}

这一次得到了分词的效果：

{

“tokens”: [

{

“token”: “我们”,

“start_offset”: 0,

“end_offset”: 2,

“type”: “CN_WORD”,

“position”: 0

},

{

“token”: “是”,

“start_offset”: 2,

“end_offset”: 3,

“type”: “CN_CHAR”,

“position”: 1

},

{

“token”: “软件”,

“start_offset”: 3,

“end_offset”: 5,

“type”: “CN_WORD”,

“position”: 2

},

{

“token”: “工程师”,

“start_offset”: 5,

“end_offset”: 8,

“type”: “CN_WORD”,

“position”: 3

}

]

}

可见ik_smart的特点是将原句做拆分，不会因为各种组合出现部分的重复，以下是来自官方的解释：

ik_max_word 和 ik_smart 什么区别?

ik_max_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合；

ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”。

验证搜索

前面通过http请求验证了分词效果，现在通过搜索来验证分词效果；

1. 通过静态mapping的方式创建索引，指定了分词器和分词方式：

PUT test003

{

“mappings”: {

“article”: {

“dynamic”: false,

“properties”: {

“title”: {

“type”: “keyword”

},

“content”: {

“type”: “text”,

“analyzer”: “ik_max_word”,

“search_analyzer”: “ik_max_word”

}

}

}

}

}

创建成功会收到以下响应：

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）

那么如何才能正确的掌握Redis呢？

为了让大家能够在Redis上能够加深，所以这次给大家准备了一些Redis的学习资料，还有一些大厂的面试题，包括以下这些面试题

• 并发编程面试题汇总

• JVM面试题汇总

• Netty常被问到的那些面试题汇总

• Tomcat面试题整理汇总

• Mysql面试题汇总

• Spring源码深度解析

• Mybatis常见面试题汇总

• Nginx那些面试题汇总

• Zookeeper面试题汇总

• RabbitMQ常见面试题汇总

JVM常频面试:

Mysql面试题汇总（一）

Mysql面试题汇总（二）

Redis常见面试题汇总（300+题）

is上能够加深，所以这次给大家准备了一些Redis的学习资料，还有一些大厂的面试题，包括以下这些面试题

• 并发编程面试题汇总

• JVM面试题汇总

• Netty常被问到的那些面试题汇总

• Tomcat面试题整理汇总

• Mysql面试题汇总

• Spring源码深度解析

• Mybatis常见面试题汇总

• Nginx那些面试题汇总

• Zookeeper面试题汇总

• RabbitMQ常见面试题汇总

JVM常频面试:

[外链图片转存中…(img-paz4zAuK-1711391406447)]

Mysql面试题汇总（一）

[外链图片转存中…(img-g758y8jE-1711391406448)]

Mysql面试题汇总（二）

[外链图片转存中…(img-NiBBMPtX-1711391406448)]

Redis常见面试题汇总（300+题）

[外链图片转存中…(img-2sRHotnx-1711391406448)]

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录