Kibana操作Elasticsearch-分词器操作

分词

分词是ES的全文检索的核心
一个tokenizer (分词器)接收一个字符流,将之分割为独立的tokens (词元,通常是独立的单词) ,然后输出tokens流。
例如, whitespace tokenizer遇到空白字符时分割文本。它会将文本"Quick brown fox!"分割AAN为[Quick, brown, fox!]
tokenizer (分词器)还负责记录各个term (词条)的顺序或position位置(用于phrase短语和word proximity词近邻查询) ,
以及term (词条)所代表的原始word (单词)的start该tokes(起始)和end (结束)的character offsets (字符偏移量) (用于高亮显示搜索的内容)Elasticsearch提供了很多内置的分词器,可以用来构建custom analyzers (自定义分词器) 。

先来看看官网的的写法
ES官网

所有语言的默认使用的就是这个标准分词器

POST _analyze
{
  "analyzer":"standard",
  "text":"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone"
}

这是使用空格来区分的，这样的分词器还不能满足实际的业务场景，ES中的这些分词器都只对英文比较友好，而对于我们中文却不怎么友好！所以作为一个中国的程序员，挺不容器的，外国人写代码就是想写日记，我们中国人写代码就是高考英语作文！，所以这里我们要满足中文的业务需求就需要而外安装中文分词器！这里使用ik分词器
ik分词器

IK分词器

1.GitHub上找到IK分词器的版本
2.进入源码
3.安装ik分词器
这里有两种方式可以安装
1.进入docker容器里面直接wget下载在
2.在外部挂载目录安装

第一种容器内部安装

1.进入ES容器
 docker exec -it 069d /bin/bash
2.进入到plugins目录
3.使用wget命令拉取压缩包

我的ES安装是在外部有挂载目录，所以这里就使用第二种方式外部挂载+重启的方式安装ik分词器

第二种外部挂载目录安装
1.将下载的源码zip的压缩包放到挂载的plugins目录

2.解压

这里是宿主机挂载的目录，所以容器里面的的plugins目录中也会存在同样的目录

3.重命名文件夹名，并修改权限可读可写可执行

chmod -R 777 ik-7.4.2/

4.进入docker的ES容器

5.查看ik分词器有没有安装上
进入到ES容器的bin目录

查看插件

elasticsearch-plugin list

这里可能会报错

这里是由于zpi的压缩包没有删除导致这里报错的，删除即可
再次运行上个命令

6.退出容器重启ES容器

docker restart es

4.测试ik分词器
ik_smart-智能分词

POST _analyze
{
  "analyzer":"ik_smart",
  "text":"测试ik

ik_max_word-最大分词

POST _analyze
{
  "analyzer":"ik_max_word",
  "text":"测试ik分词器"
}

这里是找到最大的分词组合