解决使用delete_by_query删除数据时产生timeout问题(效率优化)

使用delete_by_query的时候发现了一个问题,就是删除效率太低。删除210000的数据量的时候大概要用50多秒的时间,而这才是我工程中一个小时的数据量。删除一天的数据量就要20多分钟,这样的效率是没办法接受的。
然后寻找调优策略,发现es的官方API中是有一下两个参数:

1.scroll_size

这个参数是执行删除的时候,每次每个线程会查询的数据量,然后进行删除。
默认是100,就是说每个线程每次都会查询出100条数据然后再删除。

2.slices

这个就相当于开启的线程数,同时会有多少个线程执行查询然后删除程序。
默认是1,就是同时只会有一个线程进行查询删除操作。

解决策略:

要在请求url的后面加上这两个参数就可以了。比如这样:
原:

url = EsHttpUrl+"/"+names[i]+"/_delete_by_query";

现:

url = EsHttpUrl+"/"+names[i]+"/_delete_by_query?scroll_size=3000&slices=5";

加上之后会返回给具体每个线程处理数据的情况。
在这里插入图片描述
可以看到,效率已经提升了好几倍了,但是具体对于我的工程来说最优的方案我还在测试,所以没办法给出具体的数据,不过这个大哥的博客里面提到了几种方案可以参考一下:ElasticSearch-delete_by_query大数据量删除时,导致SocketTimeout的问题

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

如我一般的人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值