Elasticsearch更数据时报VersionConflictEngineException的解决办法

最新推荐文章于 2024-05-07 17:43:34 发布
最新推荐文章于 2024-05-07 17:43:34 发布
阅读量3.4k 收藏 1
点赞数
分类专栏： 数据库 web java 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengqwertyuiop/article/details/121159289
版权
java 同时被 3 个专栏收录
17 篇文章 1 订阅
订阅专栏
数据库
6 篇文章 0 订阅
订阅专栏
web
6 篇文章 0 订阅
订阅专栏

Elasticsearch更数据时报VersionConflictEngineException的解决办法

原因分析

es更新数据时偶尔会报VersionConflictEngineException，经过分析是因为我们的系统存在多个应用同时更新数据的场景。es是乐观锁数据更新，通过版本号控制。而我们的数据更新场景为部分数据更新，es会进行数据反查然后进行更新，反查和更新之间存在其他线程更新数据的情况，因此当前数据版本号和反查得到的版本号不一致，因此抛出异常

解决方案 ：

request.setRetryOnConflict(10); //版本号冲突时会重试10次

老程随风
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch权威指南-处理冲突.pdf
01-11
Elasticsearch权威指南-处理冲突
ElasticSearch 实战：图解es并发冲突的发生过程和解决办法
qq_33240556的博客
03-30 927
在 Elasticsearch 中，（部分更新）是一种只修改文档中特定字段值的高效更新方法，而不是替换整个文档。这种方法可以减少网络传输量、减少写放大，并且在并发更新场景下有助于减少冲突。下面详细阐述 partial update 的原理和使用方法。
ElasticSearch：版本冲突处理（事务控制）
雷雨中的双桅船
07-06 4191
处理冲突 当你使用索引API来更新一个文档时，我们先看到了原始文档，然后修改它，最后一次性地将整个新文档进行再次索引处理。Elasticsearch会根据请求发出的顺序来选择出最新的一个文档进行保存。但是，如果在你修改文档的同时其他人也发出了指令，那么他们的修改将会丢失。 很长时间以来，这其实都不是什么大问题。或许我们的主要数据还是存储在一个关系数据库中，而我们只是将为了可以搜索，才将这些数据
Elasticsearch 为什么会产生文档版本冲突？如何避免
最新发布
大叶子不小的博客
05-07 393
索引操作（Index，动词）是有条件的，并且只有在对文档的最后修改分配了由 if_seq_no 和 if_primary_term 参数指定的序列号和 primary term specified（翻译起来拗口，索性用英文）才执行。需要使用：if_seq_no 和 if_primary_term，它俩的用法，后文会有专门解读。但是，在999累计投票数后，碰巧小明同学和小红同学两位同时（并发）发起投票请求，这时候，如果没有版本控制，将导致最终结果不是预期的1001，而是1000。
Elasticsearch:解决并发写入导致版本冲突异常version_conflict_engine_exception
热门推荐
智者千虑，必有一失；愚者千虑，必有一得。
08-23 1万+
数据同步中，在使用阿里云Elasticsearch7.10.0版本的集群作为目标数据源时，在连续写入同一文档(document)出现版本冲突问题。
ES update_by_query 更新冲突解决方法
PySean的博客
04-21 4049
问题描述： ES在多次更细同一条数据时会产生冲突 elasticsearch.exceptions.ConflictError: ConflictError(409, '{"took":4,"timed_out":false,"total":1,"updated":0,"deleted":0,"batches":1,"version_conflicts":1,"noops":0,"retries":{"bulk":0,"search":0},"throttled_millis":0,"requests_
es UpdateByQuery 出现 VersionConflictEngineException
delin的专栏
08-25 1万+
问题出在多次更新统一doc出现版本不一致，抛出异常，修改不成功。 解决方法： 确认你的操作不会造成数据不一致的情况下， UpdateByQueryRequestBuilder实现类增加执行方法abortOnVersionConflict(false)like thisUpdateByQueryRequestBuilder ubqrb = UpdateByQueryAction.INSTANCE
elasticsearch update_by_query ConflictError
u010483897的博客
12-13 3138
最近在做项目时，遇到个需求，需要定期根据热搜词频，更新索引中推荐字段的权重，然后就写了个脚本执行。 逻辑也很简单，现获取热搜词，然后使用 update_by_query 对索引中相关item进行更新。一开始单步调试代码测试，都运行正常，但是一旦脚本自动开始执行，就报如下错误： elasticsearch.exceptions.ConflictError: ConflictError(409, ...
MySQL 与 Elasticsearch 数据不对称问题解决办法
09-09
主要介绍了MySQL 与 Elasticsearch 数据不对称问题解决办法的相关资料,对于 elasticsearch 增量写入，但经常jdbc源一端的数据库可能会做数据库删除或者更新操作，这里提供解决办法，需要的朋友可以参考下
ElasticSearch官方测试数据
09-14
Elasticsearch（ES）是一种流行的开源全文搜索引擎，它基于Lucene库构建，被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。官方提供的测试数据集是检验Elasticsearch功能、性能和稳定性的关键资源，可以帮助...
ElasticSearch数据导出
04-30
ElasticSearch数据导出 elasticsearch单文档数据导出 支持自定义查询 导出数据Json文件
ElasticSearch 唐诗宋词 30万+数据
11-04
**Elasticsearch（ES）是当今最流行的全文搜索引擎之一，尤其在大数据分析和实时搜索领域应用广泛。本文将深入探讨如何使用Elasticsearch处理唐诗宋词30万+的数据集，包括数据结构映射（mapping）、数据导入以及索引...
ElasticSearch（二）：索引、文档增删改查、批量操作
Men-DD
07-21 2705
注意POST和PUT都能起到创建/更新的作用，PUT需要对一个具体的资源进行操作也就是要确定id才能进行更新/创建，而POST是可以针对整个资源集合进行操作的，如果不写id就由ES生成一个唯一id进行创建新文档，如果填了id那就针对这个id的文档进行创建/更新。mget是需要我们知道它的id，可以指定不同的index，也可以指定返回值source。update不会删除原来的文档，而是实现真正的数据更新。批量对文档进行写操作是通过_bulk的API来实现的。条件查询,如要查询age等于28岁的。.......
ElasticSearch的Update By Query的坑（使用注意事项及其方案）
qq_33999844的博客
10-09 1万+
ES的Update By Query对应的就是关系型数据库的update set ... where...语句； ES的Update By Query可能存在的坑：比如批量更新时非事务模式执行（允许部分成功部分失败）、大批量操作会超时、频繁更新会报错（版本冲突）、脚本执行太频繁时又会触发断路器等。 1. 非事务模式执行 所有更新和查询失败都会导致update_by_query中止，并在响应失败时返回。已执行的更新仍然存在。（该过程不会回滚，只会中止） 使用时候不建议太大数据的修改； 建议增加.
Elasticsearch-并发冲突处理机制
小城我家
11-24 3994
详解并发冲突 在电商场景下，工作流程为： 读取商品信息，包括库存数量 用户下单购买 更新商品信息，将库存数减一 如果是多线程操作，就可能有多个线程并发的去执行上述的3步骤流程，假如此时有两个人都来读取商 品数据，两个线程并发的服务于两个人，同时在进行商品库存数据的修改。假设库存为100件 正确的情 况：线程A将库存-1，设置为99件，线程B接着读取99件，再-1，变为98件。如果A,B线程都读取的为 100件，A处理完之后修改为99件，B处理完之后再次修改为99件，此时结果就出错了 解决方案 悲观锁
8.es更新文档通过版本号实现并发控制
PacosonSWJTU的博客
11-05 1484
【3.2】使用外部版本号且版本号大于文档本身版本号更新文档（版本号冲突，当前版本号6大于等于给定的版本号6。小结：在使用外部版本做文档更新并发控制时，即文档当前版本号应该小于 给定版本号。传入的版本号需要大于文档本身版本号。
Elasticsearch文档版本冲突原理与解决
wpfLove的专栏
02-23 1万+
一般我们在更新文档时，主要的操作流程时：读取文档->修改->提交保存。数据中心等保存的都是最新一次提交的内容。 大部分时候，这都没有什么问题。但是如果两个或更多的请求同时修改一个文档时，非常容易产生冲突，因为上述的流程无法保证原子性，也不可能保证。 冲突解决常用的两种策略： 悲观锁并发策略 在关系性数据库中，通过阻塞并排队的方式，来避免发生冲突，例如在读取数据行时阻塞，来保证正在修...
ES update接口版本冲突问题的论述
qqqq0199181的博客
03-22 2902
基本概念介绍 众所周知，es数据的版本控制是通过乐观锁来实现的。es的每个document中都维护了一个_version字段，这个字段表示了这个文档的版本号，文档刚创建之时，_version=1,后续对该文档的任何增删改操作都会使_version递增（注意删除文档也是会递增的！）。 假设一个document的_version=4，我们提交了一个update请求去更新该文档，请求后缀带了?verso...
elasticsearch数据丢失怎么解决
06-12
对于Elasticsearch数据丢失的解决方法，需要根据具体情况进行不同的处理。以下是一些可能的解决方法： 1. 检查数据是否备份：如果你有备份数据的策略，可以尝试从备份中恢复数据。 2. 检查集群健康状态：在Elastic...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值