ElasticSearch速学 - IK中文分词器远程字典设置

前面已经对”IK中文分词器“有了简单的了解:
这里写图片描述

但是可以发现不是对所有的词都能很好的区分,比如:
这里写图片描述
逼格这个词就没有分出来。

词库

实际上IK分词器也是根据一些词库来进行分词的,我们可以丰富这个词库。
IK分词器(IK Analysis for Elasticsearch)给了我们一个基本的配置:
https://github.com/medcl/elasticsearch-analysis-ik
这里写图片描述

修改我们es实例中ik插件的配置:

cd elasticsearch-5.3.0/plugins/ik/config/

这里写图片描述

main.dic是住词库,stopword是停用词库(把一些错误的分词加入进来,之后不会再被分词了);custom目录中是我们的自定义词库。
这些词库都是本地词库。可以参考配置文档来设置。

热更新 IK 分词使用方法

官方文档:
https://github.com/medcl/elasticsearch-analysis-ik
这里写图片描述

我们来配置一下:

#进入es实例找到ik插件的配置文件
elasticsearch-5.3.0/plugins/ik/config
#编辑配置文件
vi IKAnalyzer.cfg.xml

内容:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <!--用户可以在这里配置自己的扩展字典 -->
    <entry key="ext_dict">custom/mydict.dic;custom/single_word_low_freq.dic</entry>
     <!--用户可以在这里配置自己的扩展停止词字典-->
    <entry key="ext_stopwords">custom/ext_stopword.dic</entry>
    <!--用户可以在这里配置远程扩展字典 -->
    <entry key="remote_ext_dict">http://10.211.55.13/myDict.php</entry>
    <!--用户可以在这里配置远程扩展停止词字典-->
    <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

myDict.php:

<?php

header('Last-Modified: '.gmdate('D, d M Y H:i:s', $time).' GMT');
echo "逼格\n";

这里写图片描述

  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值