20200320ElasticSearch新增IK扩展词后,让历史数据生效方法

问题描述:

IK远程词典热更新后,使用ES查询命令查询不到更新之后的分词,ES中的历史数据未按照新扩展词典分词。

问题原因:

IK是ES的中文分词插件。在IK新增热词后,不会去更新历史数据,即新添加的热词只对后续的数据生效。而实际上我们常常需要对历史数据进行更新。

解决办法:

    使用ES自己提供的update_by_query接口。如下图所示:

1.调用接口:http://ip:9200/iktest*/_update_by_query?conflicts=proceed(下面演示接口为Kibana6.8.5平台的开发工具来进行接口测试)。

 1.1 可以指定多个索引多个type。

POST /iktest,new_iktest/text1,text2/_update_by_query?conflicts=proceed

1.2 可以使用通配符*,匹配多个索引

返回结果示例:

  "took" : 15,//花费时间
  "timed_out" : false,//是否超时
  "total" : 6,	//数据总数
  "updated" : 6,//更新总数
  "deleted" : 0,//删除总数
  "batches" : 1,//scroll响应数量
  "version_conflicts" : 0,//版本冲突数量
  "noops" : 0,
  "retries" : {
    "bulk" : 0,
    "search" : 0
  },
  "throttled_millis" : 0,
  "requests_per_second" : -1.0,
  "throttled_until_millis" : 0,
  "failures" : [ ]
}

注:默认批处理的大小是1000,参数设置如下:

POST iktest/_update_by_query?scroll_size=100
- 其他支持的参数

refresh, wait_for_completion, wait_for_active_shards, and timeout.

    查询update_by_query:http://IP:9200/_tasks?detailed=true&actions=*byquery
    取消upate_by_query任务:http://IP:9200/_tasks/BmK-50kZQCuFwvObmFrLrw:27388/_cancel。

BmK-50kZQCuFwvObmFrLrw:27388 是通过第二点查询出来。

update_by_query原理

开始时获取一个索引的快照,并且使用内部版本来号来进行更新。这意味着如果文档在获得快照后,对索引处理 过程中版本发生更改,将会发生版本冲突。当快照的版本和索引版本一致时则进行更新,并且递增文档版本号。

当遇到冲突而导致整个更新过程失败时,更新过程是不会回滚的。如果不想因为冲突导致整个更新过程终止,可以在url中添加参数conflicts=proceed。或者在请求body中添加”conflicts”:”proceed”

注意点

新增IK热词后,需要等热词生效后才能调用该接口。可以使用分词分析接口来确认。

POST /index1/_analyze?pretty
{
  "text":"希拉里和韩国",
  "tokenizer": "ik_max_word"
}
该接口返回有对应分词即表示添加成功

我这里使用建立的测试索引index1来进行_analyze分词接口确认,index1可以不用添加mappings.

 

本文转载自https://blog.csdn.net/a314773862/article/details/78515253,在进行本地测试后根据本地情况进行部分修改,若进行转载请征得原文作者授权。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值