充电复习之ES 分词器

常见的分词器

smartCN 简单的中文或中英文文本分词器

IK分词器 比较流行的中文分词器

smartCn 的安装
 1.切换用户
 2.cd /usr/local/es/elasticsearch-7.2.1/bin/
 3.sh elasticsearch-plugin install analysis-smartcn
 4.重启 elasticsearch
 
 
IK分词器安装
   1.在此网页上找到相对应版本的分词器
   https://github.com/medcl/elasticsearch-analysis-ik/releases
   2.下载并解压
   3.将解压出来文件放到 /usr/local/es/elasticsearch-7.2.1/plugins/下
   4.重启 elasticsearch
   
   
   
   1.IK分词器是目前用的最广泛的中文分词器
   2.elasticsearch安装ik plugin
   bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.3.0/elasticsearch-analysis-ik-7.3.0.zip
   3个节点都安装，检查plugins目录下有对应文件夹则表示安装

 
 1. 目录
 
 -rw-r--r-- 1 es root 263965 May 25 13:29 commons-codec-1.9.jar
 -rw-r--r-- 1 es root  61829 May 25 13:29 commons-logging-1.2.jar
 drwxr-xr-x 2 es root   4096 May 25 13:29 config  //配置目录主要存放词库配置
 -rw-r--r-- 1 es root  54634 May 25 13:29 elasticsearch-analysis-ik-7.2.1.jar
 -rw-r--r-- 1 es root 736658 May 25 13:29 httpclient-4.5.2.jar
 -rw-r--r-- 1 es root 326724 May 25 13:29 httpcore-4.4.4.jar
 -rw-r--r-- 1 es root   1805 May 25 13:29 plugin-descriptor.properties
 -rw-r--r-- 1 es root    125 May 25 13:29 plugin-security.policy
 
 
 2.cd /config  && ll
 -rw-r--r-- 1 es root 5225922 May 25 13:29 extra_main.dic 扩展中文词库
 -rw-r--r-- 1 es root   63188 May 25 13:29 extra_single_word.dic
 -rw-r--r-- 1 es root   63188 May 25 13:29 extra_single_word_full.dic
 -rw-r--r-- 1 es root   10855 May 25 13:29 extra_single_word_low_freq.dic
 -rw-r--r-- 1 es root     156 May 25 13:29 extra_stopword.dic 
 -rw-r--r-- 1 es root     625 May 25 13:29 IKAnalyzer.cfg.xml 用来配置自定义词库
 -rw-r--r-- 1 es root 3058510 May 25 13:29 main.dic ik原生内置的中文词库，总共有27万多条，只要是这些单词，都会被分在一起
 -rw-r--r-- 1 es root     123 May 25 13:29 preposition.dic
 -rw-r--r-- 1 es root    1824 May 25 13:29 quantifier.dic 放了一些单位相关的词
 -rw-r--r-- 1 es root     164 May 25 13:29 stopword.dic 英文停用词
 -rw-r--r-- 1 es root     192 May 25 13:29 suffix.dic 放了一些后缀
 -rw-r--r-- 1 es root     752 May 25 13:29 surname.dic 中国的姓氏