ElasticSearch-IK分词器安装及自定义词库

1. 架构选型 

docker + nginx + elasticsearch + ik分词器

2. ik分词器安装

注意点:ik分词器要与elasticsearch同一个版本(这里选的7.4.2)

下载地址:

https://github.com/medcl/elasticsearch-analysis-ik/releases

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5p6X6Z2T5LuU44CC,size_20,color_FFFFFF,t_70,g_se,x_16

安装:

将下载的文件解压并保存到elasticsearch(自行安装)中的plugins目录,并重启elasticsearch。

elasticsearch安装教程:Docker 安装 ElasticSearch教程_q983752531的博客-CSDN博客

保存示例:

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5p6X6Z2T5LuU44CC,size_20,color_FFFFFF,t_70,g_se,x_16

效果展示:

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5p6X6Z2T5LuU44CC,size_20,color_FFFFFF,t_70,g_se,x_16

3. 自定义IK词库

3.1 定义participle.txt

(注意点:这里可以不用使用nginx,只要定义的司库可以访问到就可以)

使用nginx创建participle.txt用于自定义词库(自行安装nginx):

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5p6X6Z2T5LuU44CC,size_20,color_FFFFFF,t_70,g_se,x_16

participle.txt文件内容:

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5p6X6Z2T5LuU44CC,size_18,color_FFFFFF,t_70,g_se,x_16

nginx访问participle.txt信息(这里的乱码可以不用理会):http://127.0.0.1/ik/participle.txt

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5p6X6Z2T5LuU44CC,size_20,color_FFFFFF,t_70,g_se,x_16

3.2 引用participle.txt

修改IKAnalyzer.cfg.xml文件信息,该文件在ik分词器安装目录下的config目录中:

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5p6X6Z2T5LuU44CC,size_14,color_FFFFFF,t_70,g_se,x_16

 将participle.txt访问路径放置以下图片位置,并重启elasticsearch:

(如果以上没有使用nginx定义词库,将词库地址写到以下位置也是一样的)

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5p6X6Z2T5LuU44CC,size_20,color_FFFFFF,t_70,g_se,x_16

3.3 效果前后对比

定义participle.txt前:

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5p6X6Z2T5LuU44CC,size_20,color_FFFFFF,t_70,g_se,x_16

定义participle.txt后:

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5p6X6Z2T5LuU44CC,size_20,color_FFFFFF,t_70,g_se,x_16

如果出现问题可以评论区留言。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
下面是使用 Elasticsearch 中的 IK 分词器进行停词和自定义词的步骤: 1. 安装 ElasticsearchIK 分词器插件。 2. 创建自定义词文件,格式如下: ``` # 单个词语 词语1 词语2 ... # 带有词性的词语 词语1,词性1 词语2,词性2 ... ``` 注:词性可以不写,用逗号隔开。 3. 将自定义词文件放置在 Elasticsearch 安装目录下的 `plugins/ik/config/` 目录下。 4. 修改 IK 分词器配置文件,指定停用词文件和自定义词文件,示例如下: ``` { "index": { "analysis": { "analyzer": { "my_analyzer": { "type": "custom", "tokenizer": "ik_max_word", "filter": [ "my_stopwords", "my_synonyms" ] } }, "filter": { "my_stopwords": { "type": "stop", "stopwords_path": "stopwords.txt" }, "my_synonyms": { "type": "synonym", "synonyms_path": "synonyms.txt" } } } } } ``` 注:上面示例中使用了停用词文件和同义词文件,可以根据需要自行配置。 5. 创建索引并指定使用自定义分词器。 ``` PUT /my_index { "settings": { "analysis": { "analyzer": { "my_analyzer": { "type": "custom", "tokenizer": "ik_max_word", "filter": [ "my_stopwords", "my_synonyms" ] } }, "filter": { "my_stopwords": { "type": "stop", "stopwords_path": "stopwords.txt" }, "my_synonyms": { "type": "synonym", "synonyms_path": "synonyms.txt" } } } }, "mappings": { "properties": { "my_field": { "type": "text", "analyzer": "my_analyzer" } } } } ``` 6. 测试分词效果。 可以使用以下命令测试分词效果: ``` GET /my_index/_analyze { "analyzer": "my_analyzer", "text": "自定义分词器测试" } ``` 上述命令会返回分词结果,可以根据需要调整自定义词和停用词文件。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值