elasticsearch安装和使用ik分词器

下载IK分词器源码到Ubuntu

1. 登录ik分词器网站：https://github.com/medcl/elasticsearch-analysis-ik

2. 按照网站提供的版本对应表，确认我们要使用的分词器版本，很遗憾写文章的时候还没有匹配elasticsearch-6.5.0的版本，那就用master吧，也就是下图中的红框版本：

3. 如下图，点击下载zip文件：

4. 将下载的zip包放到Ubuntu机器上，解压后是个名为elasticsearch-analysis-ik-master的文件夹，在此文件夹下执行以下命令，即可开始构建ik分词器工程：

mvn clean package -U -DskipTests

5. 等待编译完成后，在target/release目录下会生产名为elasticsearch-analysis-ik-6.5.0.zip的文件，如下所示：

$ pwd

/usr/local/work/es/elasticsearch-analysis-ik-master

$ cd target/

$ ls

archive-tmp elasticsearch-analysis-ik-6.5.0.jar generated-sources maven-status

classes elasticsearch-analysis-ik-6.5.0-sources.jar maven-archiver releases

$ cd releases/

$ ls

elasticsearch-analysis-ik-6.5.0.zip

6. 停止集群中所有机器的elasticsearch进程，在所有机器上做这些操作：在elasticsearch的plugins目录下创建名为ik的目录，再将上面生成的elasticsearch-analysis-ik-6.5.0.zip文件复制到这个新创建的ik目录下；

7. 在elasticsearch-analysis-ik-6.5.0.zip所在文件夹下，执行目录unzip elasticsearch-analysis-ik-6.5.0.zip进行解压；

8. 确认elasticsearch-analysis-ik-6.5.0.zip已经复制到每个elasticsearch的plugins/ik目录下并解压后，将所有elasticsearch启动，可以发现控制台上会输出ik分词器被加载的信息，如下图所示：

至此，ik分词器安装完成，来验证一下吧；

验证ik分词器

1. 在postman发起请求，在json中通过tokenizer指定分词器：

POST test002/_analyze?pretty=true

{

“text”:“我们是软件工程师”,

“tokenizer”:“ik_max_word”

}

这一次得到了分词的效果：

{

“tokens”: [

{

“token”: “我们”,

“start_offset”: 0,

“end_offset”: 2,

“type”: “CN_WORD”,

“position”: 0

},

{

“token”: “是”,

“start_offset”: 2,

“end_offset”: 3,

“type”: “CN_CHAR”,

“position”: 1

},

{

“token”: “软件工程”,

“start_offset”: 3,

“end_offset”: 7,

“type”: “CN_WORD”,

“position”: 2

},

{

“token”: “软件”,

“start_offset”: 3,

“end_offset”: 5,

“type”: “CN_WORD”,

“position”: 3

},

{

“token”: “工程师”,

“start_offset”: 5,

“end_offset”: 8,

“type”: “CN_WORD”,

“position”: 4

},

{

“token”: “工程”,

“start_offset”: 5,

“end_offset”: 7,

“type”: “CN_WORD”,

“position”: 5

},

{

“token”: “师”,

“start_offset”: 7,

“end_offset”: 8,

“type”: “CN_CHAR”,

“position”: 6

}

]

}

可见所有可能形成的词语都被分了出来，接下试试ik分词器的另一种分词方式ik_smart；

2. 使用ik_smart方式分词的请求如下：

shellshell

POST test002/_analyze?pretty=true

{

“text”:“我们是软件工程师”,

“tokenizer”:“ik_smart”

}

这一次得到了分词的效果：

{

“tokens”: [

{

“token”: “我们”,

“start_offset”: 0,

“end_offset”: 2,

“type”: “CN_WORD”,

“position”: 0

},

{

“token”: “是”,

“start_offset”: 2,

“end_offset”: 3,

“type”: “CN_CHAR”,

“position”: 1

},

{

“token”: “软件”,

“start_offset”: 3,

“end_offset”: 5,

“type”: “CN_WORD”,

“position”: 2

},

{

“token”: “工程师”,

“start_offset”: 5,

“end_offset”: 8,

“type”: “CN_WORD”,

“position”: 3

}

]

}

可见ik_smart的特点是将原句做拆分，不会因为各种组合出现部分的重复，以下是来自官方的解释：

ik_max_word 和 ik_smart 什么区别?

ik_max_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合；

ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”。

验证搜索

前面通过http请求验证了分词效果，现在通过搜索来验证分词效果；

1. 通过静态mapping的方式创建索引，指定了分词器和分词方式：

PUT test003

{

“mappings”: {

“article”: {

“dynamic”: false,

“properties”: {

“title”: {

“type”: “keyword”

},

“content”: {

“type”: “text”,

“analyzer”: “ik_max_word”,

“search_analyzer”: “ik_max_word”

}

}

}

}

}

创建成功会收到以下响应：

{

“acknowledged”: true,

“shards_acknowledged”: true,

“index”: “test003”

}

2. 创建一个文档：

PUT test003/article/1

{

“id”:1,

“title”:“文章一”,

“content”:“我们是软件工程师”

}

3. 用工程师作为关键词查询试试：

GET test003/_search

{

“query”:{

“term”:{“content”:“工程师”}

}

}

搜索成功：

{

“took”: 111,

“timed_out”: false,

“_shards”: {

“total”: 5,

“successful”: 5,

“skipped”: 0,

“failed”: 0

},

“hits”: {

“total”: 1,

“max_score”: 0.2876821,

“hits”: [

{

“_index”: “test003”,

“_type”: “article”,

“_id”: “1”,

“_score”: 0.2876821,

“_source”: {

“id”: 1,

“title”: “文章一”,

“content”: “我们是软件工程师”

}

}

]

}

}

至此，ik分词器的安装和使用实战就完成了，希望本文能在您的使用过程中提供一些参考；

最后

本人也收藏了一份Java面试核心知识点来应付面试，借着这次机会可以送给我的读者朋友们

目录：

Java面试核心知识点

一共有30个专题，足够读者朋友们应付面试啦，也节省朋友们去到处搜刮资料自己整理的时间！

Java面试核心知识点

已经有读者朋友靠着这一份Java面试知识点指导拿到不错的offer了

x": “test003”,

“_type”: “article”,

“_id”: “1”,

“_score”: 0.2876821,

“_source”: {

“id”: 1,

“title”: “文章一”,

“content”: “我们是软件工程师”

}

}

]

}

}

至此，ik分词器的安装和使用实战就完成了，希望本文能在您的使用过程中提供一些参考；

最后

本人也收藏了一份Java面试核心知识点来应付面试，借着这次机会可以送给我的读者朋友们

目录：

[外链图片转存中…(img-xEPdZSyo-1719254843946)]

Java面试核心知识点

一共有30个专题，足够读者朋友们应付面试啦，也节省朋友们去到处搜刮资料自己整理的时间！

[外链图片转存中…(img-Ntxa3vwl-1719254843947)]

Java面试核心知识点

已经有读者朋友靠着这一份Java面试知识点指导拿到不错的offer了

[外链图片转存中…(img-WcRJD7l0-1719254843947)]