08-初识ES-IK分词器的拓展和停用词典

08-初识ES-IK分词器的拓展和停用词典

3.ik分词器-拓展词库
要拓展ik分词器的词库，只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfg.xml文件：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!-=-用户可以在这里配置自己的扩展字典 *** 添加扩展词典-=->
        <entry key="ext_dict">ext.dic</entry>
</properties>

然后在名为ext.dic的文件中，添加想要拓展的词语即可：
嘤嘤嘤
奥力给

4.ik分词器-停用词库
要禁用某些敏感词条，只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfg.xml文件：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!-=-用户可以在这里配置自己的扩展字典-=->
        <entry key="ext_dict">ext.dic</entry>
         <!-=-用户可以在这里配置自己的扩展停止词字典  *** 添加停用词词典-=->
        <entry key="ext_stopwords">stopword.dic</entry>
</properties>

然后在名为stopword.dic的文件中，添加想要拓展的词语即可：
啊啊

5.总结：
分词器的作用是什么？
创建倒排索引时对文档分词
用户搜索时，对输入的内容分词
IK分词器有几种模式？
ik_smart：智能切分，粗粒度
ik_max_word：最细切分，细粒度
切分力度越细，越容易被搜到，但是会消耗更多的内存
IK分词器如何拓展词条？如何停用词条？
利用config目录的IkAnalyzer.cfg.xml文件添加拓展词典和停用词典
在词典中添加拓展词条或者停用词条