ES分布式搜索-IK分词器

ES分词器-IK

1、为什么使用分词器？

es在创建倒排索引时需要对文档分词；在搜索时，需要对用户输入内容分词。但默认的分词规则对中文处理并不友好。

我们在kibana的DevTools中测试：

GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "程序员学习java太棒了"
}

语法说明：

• POST：请求方式

• /_analyze：请求路径，这里省略了http://192.168.12.131:9200，有kibana帮我们补充

• 请求参数，json风格：

  • analyzer：分词器类型，这里是默认的standard分词器

  • text：要分词的内容

由于kibana无法识别中文词汇，在没有使用IK分词器的情况下每一个中文会逐字进行识别保存查询，所以对效率和内存的耗损都有一些代价。

处理中文分词，一般会使用IK分词器。IK分词器GitHub官网

安装IK分词器，参考资料《安装elasticsearch.md》：

ik分词器包含两种模式（“analyzer”中添加）：

• ik_smart：最少切分，粗粒度

• ik_max_word：最细切分，细粒度（分词之后的词语更多）

问题来了，ik分词器是怎样进行分词的？

ik分词器是一种基于字典和规则的中文分词器，其分词过程可以简要描述如下：

1. 文本预处理：首先将输入的文本进行预处理，包括去除特殊字符、停用词等操作。

2. 正向最大匹配：ik分词器采用正向最大匹配算法，即从左向右扫描文本，在词典中查找以当前位置开始的最长匹配词。

3. 词典匹配：ik分词器使用内置的词典来匹配词语。如果当前位置的字符组合在词典中找到了匹配的词语，则将其作为一个词语输出。

4. 细粒度切分：当出现歧义情况时，ik分词器会根据一定的规则进行细粒度切分，以解决歧义问题。

5. 返回结果：最终将分词结果返回给用户，用户可以根据需要进行后续的文本处理或分析。

总的来说，ik分词器通过词典匹配和规则处理的方式对中文文本进行分词，以实现对文本的有效切分。

2、ik分词器-拓展和停用词条

假如现在有需求，字典实现个性化设置，比如说不能出现有关政治或国家领导人的关键词汇，过滤黄赌毒等关键词汇等，还有没有意思的词语如“的”等，而且词汇随着时代进步也会产生许多，也需要不含在字典里面。

1. 要拓展ik分词器的词库，只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfg.xml文件：

   

   <?xml version="1.0" encoding="UTF-8"?>
   <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
   <properties>
   	<comment>IK Analyzer 扩展配置</comment>
   	<!--用户可以在这里配置自己的扩展字典 -->
   	<entry key="ext_dict">ext.dic</entry>
   	 <!--用户可以在这里配置自己的扩展停止词字典-->
   	<entry key="ext_stopwords">stopword.dic</entry>
   	<!--用户可以在这里配置远程扩展字典 -->
   	<!-- <entry key="remote_ext_dict">words_location</entry> -->
   	<!--用户可以在这里配置远程扩展停止词字典-->
   	<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
   </properties>
   

2. 然后在名为ext.dic和stopword.dic的文件中，添加想要拓展的词语即可（没有记得在config目录下创建）：

   曼诺尔
   雷迪亚兹
   白嫖
   

3. 重启（docker restart es）测试

   GET /_analyze
   {
     "analyzer": "ik_smart",
     "text": "曼诺尔雷迪亚兹真是个可恶的白嫖的人"
   }
   

   {
     "tokens" : [
       {
         "token" : "曼诺尔",
         "start_offset" : 0,
         "end_offset" : 3,
         "type" : "CN_WORD",
         "position" : 0
       },
       {
         "token" : "雷迪亚兹",
         "start_offset" : 3,
         "end_offset" : 7,
         "type" : "CN_WORD",
         "position" : 1
       },
       {
         "token" : "真是",
         "start_offset" : 7,
         "end_offset" : 9,
         "type" : "CN_WORD",
         "position" : 2
       },
       {
         "token" : "个",
         "start_offset" : 9,
         "end_offset" : 10,
         "type" : "CN_CHAR",
         "position" : 3
       },
       {
         "token" : "可恶",
         "start_offset" : 10,
         "end_offset" : 12,
         "type" : "CN_WORD",
         "position" : 4
       },
       {
         "token" : "白嫖",
         "start_offset" : 13,
         "end_offset" : 15,
         "type" : "CN_WORD",
         "position" : 5
       },
       {
         "token" : "的人",
         "start_offset" : 15,
         "end_offset" : 17,
         "type" : "CN_WORD",
         "position" : 6
       }
     ]
   }