elasticsearch安装和使用ik分词器

版权声明:欢迎转载,请注明出处,谢谢。 https://blog.csdn.net/boling_cavalry/article/details/86549043

在使用elasticsearch的时候,如果不额外安装分词器的话,在处理text字段时会使用elasticsearch自带的默认分词器,我们来一起看看默认分词器的效果;

环境信息

  1. 本次实战用到的elasticsearch版本是6.5.0,安装在Ubuntu 16.04.5 LTS,客户端工具是postman6.6.1;
  2. 如果您需要搭建elasticsearch环境,请参考《Linux环境快速搭建elasticsearch6.5.4集群和Head插件》
  3. Ubuntu服务器上安装的JDK,版本是1.8.0_191;
  4. Ubuntu服务器上安装了maven,版本是是3.5.0;

elasticsearch为什么要用6.5.0版本

截止发布文章时间,elasticsearch官网已经提供了6.5.4版本下载,但是ik分词器的版本目前支持到6.5.0版本,因此本次实战的elasticsearch选择了6.5.0版本;

基本情况介绍

本次实战的elasticsearch环境已经搭建完毕,是由两个机器搭建的集群,并且elasticsearch-head也搭建完成:

  1. 一号机器,IP地址:192.168.150.128;
  2. 二号机器:IP地址:192.168.150.128;
  3. elasticsearch-head安装在一号机器,访问地址:http://192.168.150.128:9100

数据格式说明

为了便于和读者沟通,我们来约定一下如何在文章中表达请求和响应的信息:

  1. 假设通过Postman工具向服务器发送一个PUT类型的请求,地址是:http://192.168.150.128:9200/test001/article/1
  2. 请求的内容是JSON格式的,内容如下:
{
	"id":1,
	"title":"标题a",
	"posttime":"2019-01-12",
	"content":"一起来熟悉文档相关的操作"
}

对于上面的请求,我在文章中就以如下格式描述:

PUT test001/article/1

{
	"id":1,
	"title":"标题a",
	"posttime":"2019-01-12",
	"content":"一起来熟悉文档相关的操作"
}

读者您看到上述内容,就可以在postman中发起PUT请求,地址是"test001/article/1"前面加上您的服务器地址,内容是上面的JSON;

默认分词器的效果

先来看看默认的分词效果:

  1. 创建一个索引:
PUT test002
  1. 查看索引基本情况:
GET test002/_settings

收到响应如下,可见并没有分词器的信息:

{
    "test002": {
        "settings": {
            "index": {
                "creation_date": "1547863084175",
                "number_of_shards": "5",
                "number_of_replicas": "1",
                "uuid": "izLzdwCQRdeq01tNBxajEg",
                "version": {
                    "created": "6050499"
                },
                "provided_name": "test002"
            }
        }
    }
}
  1. 查看分词效果:
POST test002/_analyze?pretty=true

{"text":"我们是软件工程师"}

收到响应如下,可见每个汉字都被拆分成一个词了,这样会导致词项搜索时收不到我们想要的(例如用"我们"来搜索是没有结果的):

{
    "tokens": [
        {
            "token": "我",
            "start_offset": 0,
            "end_offset": 1,
            "type": "<IDEOGRAPHIC>",
            "position": 0
        },
        {
            "token": "们",
            "start_offset": 1,
            "end_offset": 2,
            "type": "<IDEOGRAPHIC>",
            "position": 1
        },
        {
            "token": "是",
            "start_offset": 2,
            "end_offset": 3,
            "type": "<IDEOGRAPHIC>",
            "position": 2
        },
        {
            "token": "软",
            "start_offset": 3,
            "end_offset": 4,
            "type": "<IDEOGRAPHIC>",
            "position": 3
        },
        {
            "token": "件",
            "start_offset": 4,
            "end_offset": 5,
            "type": "<IDEOGRAPHIC>",
            "position": 4
        },
        {
            "token": "工",
            "start_offset": 5,
            "end_offset": 6,
            "type": "<IDEOGRAPHIC>",
            "position": 5
        },
        {
            "token": "程",
            "start_offset": 6,
            "end_offset": 7,
            "type": "<IDEOGRAPHIC>",
            "position": 6
        },
        {
            "token": "师",
            "start_offset": 7,
            "end_offset": 8,
            "type": "<IDEOGRAPHIC>",
            "position": 7
        }
    ]
}

为了词项搜索能得到我们想要的结果,需要换一个分词器,理想的分词效果应该是"我们"、“是”、“软件”、“工程师”,ik分词器可以满足我们的要求,接下来开始实战;

注意事项

  1. 下面的所有操作都使用es账号来进行,不要用root账号;
  2. 编译ik分词器需要用到maven,如果您有docker,但是不想安装maven,可以参考《没有JDK和Maven,用Docker也能构建Maven工程》来编译工程;

下载IK分词器源码到Ubuntu

  1. 登录ik分词器网站:https://github.com/medcl/elasticsearch-analysis-ik
  2. 按照网站提供的版本对应表,确认我们要使用的分词器版本,很遗憾写文章的时候还没有匹配elasticsearch-6.5.0的版本,那就用master吧,也就是下图中的红框版本:
    在这里插入图片描述
  3. 如下图,点击下载zip文件:
    在这里插入图片描述
  4. 将下载的zip包放到Ubuntu机器上,解压后是个名为elasticsearch-analysis-ik-master的文件夹,在此文件夹下执行以下命令,即可开始构建ik分词器工程:
mvn clean package -U -DskipTests
  1. 等待编译完成后,在target/release目录下会生产名为elasticsearch-analysis-ik-6.5.0.zip的文件,如下所示:
$ pwd
/usr/local/work/es/elasticsearch-analysis-ik-master
$ cd target/
$ ls
archive-tmp  elasticsearch-analysis-ik-6.5.0.jar          generated-sources  maven-status
classes      elasticsearch-analysis-ik-6.5.0-sources.jar  maven-archiver     releases
$ cd releases/
$ ls
elasticsearch-analysis-ik-6.5.0.zip
  1. 停止集群中所有机器的elasticsearch进程,在所有机器上做这些操作:在elasticsearch的plugins目录下创建名为ik的目录,再将上面生成的elasticsearch-analysis-ik-6.5.0.zip文件复制到这个新创建的ik目录下;
  2. 在elasticsearch-analysis-ik-6.5.0.zip所在文件夹下,执行目录unzip elasticsearch-analysis-ik-6.5.0.zip进行解压;
  3. 确认elasticsearch-analysis-ik-6.5.0.zip已经复制到每个elasticsearch的plugins/ik目录下并解压后,将所有elasticsearch启动,可以发现控制台上会输出ik分词器被加载的信息,如下图所示:
    在这里插入图片描述
    至此,ik分词器安装完成,来验证一下吧;

验证ik分词器

  1. 在postman发起请求,在json中通过tokenizer指定分词器:
POST test002/_analyze?pretty=true

{
"text":"我们是软件工程师",
"tokenizer":"ik_max_word"
}

这一次得到了分词的效果:

{
    "tokens": [
        {
            "token": "我们",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "是",
            "start_offset": 2,
            "end_offset": 3,
            "type": "CN_CHAR",
            "position": 1
        },
        {
            "token": "软件工程",
            "start_offset": 3,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "软件",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "工程师",
            "start_offset": 5,
            "end_offset": 8,
            "type": "CN_WORD",
            "position": 4
        },
        {
            "token": "工程",
            "start_offset": 5,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 5
        },
        {
            "token": "师",
            "start_offset": 7,
            "end_offset": 8,
            "type": "CN_CHAR",
            "position": 6
        }
    ]
}

可见所有可能形成的词语都被分了出来,接下试试ik分词器的另一种分词方式ik_smart
2. 使用ik_smart方式分词的请求如下:
shellshell
POST test002/_analyze?pretty=true

{
“text”:“我们是软件工程师”,
“tokenizer”:“ik_smart”
}

这一次得到了分词的效果:
```json
{
    "tokens": [
        {
            "token": "我们",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "是",
            "start_offset": 2,
            "end_offset": 3,
            "type": "CN_CHAR",
            "position": 1
        },
        {
            "token": "软件",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "工程师",
            "start_offset": 5,
            "end_offset": 8,
            "type": "CN_WORD",
            "position": 3
        }
    ]
}

可见ik_smart的特点是将原句做拆分,不会因为各种组合出现部分的重复,以下是来自官方的解释:

ik_max_word 和 ik_smart 什么区别?
ik_max_word: 会将文本做最细粒度的拆分,比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”,会穷尽各种可能的组合;

ik_smart: 会做最粗粒度的拆分,比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”。

验证搜索

前面通过http请求验证了分词效果,现在通过搜索来验证分词效果;

  1. 通过静态mapping的方式创建索引,指定了分词器和分词方式:
PUT test003

{
  "mappings": {
    "article": {
      "dynamic": false,
      "properties": {
        "title": {
          "type": "keyword"
        },
       "content": {
                "type": "text",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_max_word"
            }
      }
    }
  }
}

创建成功会收到以下响应:

{
    "acknowledged": true,
    "shards_acknowledged": true,
    "index": "test003"
}
  1. 创建一个文档:
PUT test003/article/1

{
  "id":1,
  "title":"文章一",
  "content":"我们是软件工程师"
}
  1. 工程师作为关键词查询试试:
GET test003/_search

{
	"query":{
		"term":{"content":"工程师"}
	}
}

搜索成功:

{
    "took": 111,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 0.2876821,
        "hits": [
            {
                "_index": "test003",
                "_type": "article",
                "_id": "1",
                "_score": 0.2876821,
                "_source": {
                    "id": 1,
                    "title": "文章一",
                    "content": "我们是软件工程师"
                }
            }
        ]
    }
}

至此,ik分词器的安装和使用实战就完成了,希望本文能在您的使用过程中提供一些参考;

没有更多推荐了,返回首页