ElasticSearch IK的分词器安装与使用

安装

由于默认的分词器对中文支持不好，会将文字分割成一个个，我们需要安装IK分词器让es支持中文。下图可以看出默认的 standard 分词器能够将 hello world分词出来，而对于“你好世界”则分成了单字。

下面我们安装 ik 分词器让其支持中文；首先需要保证你的 es 版本跟 ik 分词器一致，es 与 kibana 的安装参照：Windows docker下安装elasticsearch与kibana，这里使用的版本为 7.4.2，可以直接这里 https://wwa.lanzous.com/iKQeOgpwxbc 下载，其他版本请自行到 https://github.com/medcl/elasticsearch-analysis-ik/releases 找到对应版本下载。

下载了zip包后只需要解压到 elasticsearch/plugins/ik 下，无需修改yml文件后重启 es即可。

 测试使用

重启后打开kibana，由于ik分词器支持两种 analyzer，ik_smart与ik_max_word，两者的区别是 ：

    1、 ik_smart 会做最粗粒度的拆分，比如会将"人与人的体制不能一概而论"拆分为 "人与人之间"、"的"、"体制"、"不能"、"一概而论"。不会出现重复词。

 

2、 ik_max_word 会将文本做最细粒度的拆分，比如下图的 "人与人之间的体制不能一概而论"下面样子，截图不全，直接看json数据吧。它会作最细的分割。

{
  "tokens" : [
    {
      "token" : "人与人之间",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "与人",
      "start_offset" : 1,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "之间",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "的",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "CN_CHAR",
      "position" : 3
    },
    {
      "token" : "体质",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "不能",
      "start_offset" : 8,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 5
    },
    {
      "token" : "一概而论",
      "start_offset" : 10,
      "end_offset" : 14,
      "type" : "CN_WORD",
      "position" : 6
    },
    {
      "token" : "一概",
      "start_offset" : 10,
      "end_offset" : 12,
      "type" : "CN_WORD",
      "position" : 7
    },
    {
      "token" : "一",
      "start_offset" : 10,
      "end_offset" : 11,
      "type" : "TYPE_CNUM",
      "position" : 8
    },
    {
      "token" : "概",
      "start_offset" : 11,
      "end_offset" : 12,
      "type" : "CN_CHAR",
      "position" : 9
    },
    {
      "token" : "而论",
      "start_offset" : 12,
      "end_offset" : 14,
      "type" : "CN_WORD",
      "position" : 10
    }
  ]
}

使用哪个根据个人所需，一般使用 ik_max_word 就行了。