ElasticSearch6.7使用_delete_by_query产生版本冲突(version conflict)问题

环境:ElasticSearch6.7
问题产生的原因
对某个index的数据进行删除,删除的数据量在千万级别。删除过程中产生版本冲突。
删除脚本如下:

POST /ads_lading_trade_brief_es_02/_delete_by_query
{
   
  "query": {
   
    "bool": {
   
      "must": [
        {
   
          "match": {
   
            "country": "CR"
          }
        },
        {
   
          "range": {
   
            "by_date": {
   
              "gte": "2000-01-01",
              "lte": "2015-12-31"
            }
          }
        }
      ]
    }
  }
}

原因如下:
在执行_delete_by_query期间,为了删除匹配到的所有文档,多个搜索请求是按顺序执行的。每次找到一批文档时,将会执行相应的批处理请求来删除找到的全部文档。如果搜索或者批处理请求被拒绝,_delete_by_query根据默认策略对被拒绝的请求进行重试(最多10次)。达到最大重试次数后,会造成_delete_by_query请求中止,并且会在failures字段中响应 所有的故障。已经删除的仍会执行。换句话说,该过程没有回滚,只有中断。
在第一个请求失败引起中断,失败的批处理请求的所有故障信息都会记录在failures元素中;并返回回去。因此,会有不少失败的请求。
如果你想计算有多少个版本冲突,而不是中止,可以在URL中设置为conflicts=proceed或者在请求体中设置"conflicts": “proceed”。
问题解决

  1. 通过上述分析,修改脚本,重新删除,此时脚本如下:
POST 
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值