定制化分词器 | 扩展词库

最新推荐文章于 2021-11-23 22:07:38 发布

乌鲁木齐001号程序员

最新推荐文章于 2021-11-23 22:07:38 发布

阅读量167

点赞数

本文链接：https://blog.csdn.net/weixin_33669968/article/details/106729998

版权

导论

每个行业都有自己行业内的专有名词，但是 IK 分词器中的标准词库是不包含这些转专有名词的；为了提高分词的准且性和搜索的精度，需要 IK 分词器知道哪些是专有名词，进而不对其分词，进而直接搜索这些专有名词的时候，可以直接搜索到；

创建新的词库文件

touch /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node1/plugins/ik/config/new_word.dic

添加新词

凯悦

让 IK 分词器加载新的词库文件

修改文件 IKAnalyzer.cfg.xml；

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <entry key="ext_dict">new_word.dic</entry>
    <entry key="ext_stopwords"></entry>
</properties>

拷贝修改过的文件和新文件到其他节点上

cp new_word.dic /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node2/plugins/ik/config
cp new_word.dic /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node3/plugins/ik/config
cp IKAnalyzer.cfg.xml /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node2/plugins/ik/config
cp IKAnalyzer.cfg.xml /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node3/plugins/ik/config

重启三个节点

bin/elasticsearch
bin/elasticsearch
bin/elasticsearch

测试对词库中新添加的词的分词结果

用 ik_max_word 分词的结果也是一样的；

GET /shop/_analyze
{
  "analyzer": "ik_smart",
  "text": "凯悦"
}
--- 
{
  "tokens" : [
    {
      "token" : "凯悦",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    }
  ]
}

再搜索“凯悦”

一条结果都没有；
因为数据在索引进 ElasticSearch 的时候，IK 分词器的词库里没有刚添加的新词“凯悦”，所以现在，即使已经向自定义词库中添加了“凯悦”，用“凯悦”搜还是搜不到；
这个时候要么重建索引，要么 Update By Query；

GET /shop/_search
{
  "query": {"match": {
    "name": "凯悦"
  }}
}

重建索引

因为数据量小，用 Update By Query 就行了；
此时再搜“凯悦”就能搜索了，而且“花悦庭果木烤鸭”就搜不到了；

POST /shop/_update_by_query
{
  "query": {
    "bool": {
      "must": [
        {"term": {"name": "凯"}},
        {"term": {"name": "悦"}}
      ]
    }
  }
}

热更新词库

将自己的词库文件放在远端的服务器上；
IK 分词器默认每分钟去检查一次词库文件是否更新，检查的依据是 HTTP 中的 last-modified 和 etag；

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <entry key="ext_dict">http://yoursite.com/getCustomDic</entry>
</properties>