ElasticSearch基于version进行乐观锁并发控制实战解析

最新推荐文章于 2022-10-12 16:32:03 发布
最新推荐文章于 2022-10-12 16:32:03 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： 大数据 文章标签： ElasticSearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/itcats_cn/article/details/98589799
版权

一、ES解决并发问题的实质

ES在多线程异步修改数据时，是根据_version(版本号)来进行乐观锁控制的。

 

1.1  了解_version是什么

1、在第一次创建document的时候，该document的_version版本号为1，每次对document进行修改、删除操作，document的_version版本号加1

PUT /test_index/test_type/6
{
  "test_field": "test test"
}

返回结果：

{
  "_index" : "test_index",
  "_type" : "test_type",
  "_id" : "6",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

 

2、删除这条document

DELETE /test_index/test_type/6

结果：

{
  "_index" : "test_index",
  "_type" : "test_type",
  "_id" : "6",
  "_version" : 2,
  "result" : "deleted",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 1,
  "_primary_term" : 1
}

 

3、重新创建这条document

PUT /test_index/test_type/6
{
  "test_field": "test test"
}

结果：

{
  "_index" : "test_index",
  "_type" : "test_type",
  "_id" : "6",
  "_version" : 3,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 2,
  "_primary_term" : 1
}

结论：

在删除命令后，该document并不是立即物理删除掉的，它的一些版本号等信息还是保留着的。先删除一条document，再重新创建这条document，其实会在delete version基础之上，再把version号加1。

 

1.2  图解ES乐观锁实质

假设无ES乐观锁控制的场景

①创建一条document，假设field1 = text1  

②线程1修改数据field1 = text2   (先修改)

③线程2修改数据field1 = text3  (后修改)

④ES内部Primary Shard的数据会同步到Replica Shard中，类似于Replica Shard的同步请求，都是多线程异步的，也就是说多个修改请求之间是乱序的，有可能存在后修改的被先修改，先修改的被后修改等问题。

如果field1 = text3先修改，不进行_version的版本控制，field1 = text2会直接覆盖，此时数据出现错误。正确的逻辑应该是先修改的先修改，后修改的后修改，此时就引出了ES乐观锁控制并发的问题。

 

ES乐观锁控制并发的场景

①创建一条document，假设field1 = text1    _version = 1

②线程1修改数据field1 = text2   (先修改)     获取到修改前的_version=1

③线程2修改数据field1 = text3  (后修改)     获取到修改前的_version=2

④假设后修改的数据先到，field1 = text3 ，此时_version=2。

    此时先修改的数据后到，field1 = text2， 获取到修改前的_version=2，自己的_version=1，不相同，将低版本的数据忽略，保持field1 = text3，通过版本控制不会让旧数据覆盖新数据。

 

二、实战模拟ES基于_version并发修改的原理

1、创建一条document数据

PUT /test_index/test_type/8
{
  "test_field": "test test"
}
{
  "_index" : "test_index",
  "_type" : "test_type",
  "_id" : "8",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

2、打开两个Kibana客户端，或打开两个命令行，模拟两个客户端，都获取到了同一条数据

GET test_index/test_type/8
{
  "_index" : "test_index",
  "_type" : "test_type",
  "_id" : "8",
  "_version" : 1,
  "_seq_no" : 0,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "test_field" : "test test"
  }
}

3、其中一个客户端，更新该document，同时带上数据的版本号，确保es中的数据的版本号，跟客户端中的数据的版本号是相同的，才能修改

PUT /test_index/test_type/8?version=1
{
  "test_field": "test client 1"
}
{
  "_index" : "test_index",
  "_type" : "test_type",
  "_id" : "8",
  "_version" : 2,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 1,
  "_primary_term" : 1
}

4、另外一个客户端，尝试基于version=1的数据去进行修改，同样带上version版本号，进行乐观锁的并发控制

PUT /test_index/test_type/7?version=1 
{
  "test_field": "test client 2"
}
{
  "_index" : "test_index",
  "_type" : "test_type",
  "_id" : "8",
  "_version" : 2,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 1,
  "_primary_term" : 1
}

5、在乐观锁成功阻止并发问题之后，尝试正确的完成更新

GET /test_index/test_type/8
{
  "_index" : "test_index",
  "_type" : "test_type",
  "_id" : "8",
  "_version" : 2,
  "_seq_no" : 1,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "test_field" : "test client 1"
  }
}

基于最新的数据和版本号进行修改，修改后，带上最新的版本号，可能这个步骤会需要反复执行好几次，才能成功，特别是在多线程并发更新同一条数据很频繁的情况下。

尝试再次修改，直到修改成功：

PUT /test_index/test_type/8?version=2
{
  "test_field": "test client 2"
}
{
  "_index" : "test_index",
  "_type" : "test_type",
  "_id" : "8",
  "_version" : 3,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 2,
  "_primary_term" : 1
}

 

三、实战模拟ES基于version external并发修改的原理

es提供了一个feature，可以不用它提供的内部_version版本号来进行并发控制，可以基于自己维护的一个版本号来进行并发控制。举个列子，假设数据在mysql里也有一份，然后应用系统本身就维护了一个版本号，无论是什么自己生成的，程序控制的。这个时候，在进行乐观锁并发控制的时候，可能并不是想要用es内部的_version来进行控制，而是用你自己维护的那个version来进行控制。

语法比较：

?version=1
?version=1&version_type=external

version_type=external，唯一的区别在于，_version，只有当提供的version与es中的_version一模一样的时候，才可以进行修改，只要不一样，就报错；当version_type=external的时候，只有当提供的version比es中的_version大的时候，才能完成修改。

es，_version=1，?version=1，才能更新成功
es，_version=1，?version>1&version_type=external，才能成功，比如说version=2&version_type=external

（1）先构造一条数据

PUT /test_index/test_type/9
{
  "test_field": "test"
}
{
  "_index" : "test_index",
  "_type" : "test_type",
  "_id" : "9",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 3,
  "_primary_term" : 1
}

（2）模拟两个客户端同时查询到这条数据

GET /test_index/test_type/9
{
  "_index" : "test_index",
  "_type" : "test_type",
  "_id" : "9",
  "_version" : 1,
  "_seq_no" : 3,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "test_field" : "test"
  }
}

（3）第一个客户端先进行修改，此时客户端程序是在自己的数据库中获取到了这条数据的最新版本号，比如说是2

PUT /test_index/test_type/9?version=2&version_type=external
{
  "test_field": "test client 1"
}
{
  "_index" : "test_index",
  "_type" : "test_type",
  "_id" : "9",
  "_version" : 2,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 4,
  "_primary_term" : 1
}

（4）模拟第二个客户端，同时拿到了自己数据库中维护的那个版本号，也是2，同时基于version=2发起了修改

PUT /test_index/test_type/9?version=2&version_type=external
{
  "test_field": "test client 2"
}
{
  "error": {
    "root_cause": [
      {
        "type": "version_conflict_engine_exception",
        "reason": "[test_type][9]: version conflict, current version [2] is higher or equal to the one provided [2]",
        "index_uuid": "h99RQHS7Si6VxZXsQnzTOA",
        "shard": "1",
        "index": "test_index"
      }
    ],
    "type": "version_conflict_engine_exception",
    "reason": "[test_type][9]: version conflict, current version [2] is higher or equal to the one provided [2]",
    "index_uuid": "h99RQHS7Si6VxZXsQnzTOA",
    "shard": "1",
    "index": "test_index"
  },
  "status": 409
}

（5）在并发控制成功后，重新基于最新的版本号发起更新

GET /test_index/test_type/9
{
  "_index" : "test_index",
  "_type" : "test_type",
  "_id" : "9",
  "_version" : 2,
  "_seq_no" : 4,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "test_field" : "test client 1"
  }
}
PUT /test_index/test_type/9?version=3&version_type=external
{
  "test_field": "test client 2"
}
{
  "_index" : "test_index",
  "_type" : "test_type",
  "_id" : "9",
  "_version" : 3,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 5,
  "_primary_term" : 1
}

 

itcats_cn
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ES中文档的版本号（二）
qq_43641069的博客
07-02 1329
ES中文档的版本号（二） 目录ES中文档的版本号（二）前言版本号的意义外部版本号（external version）ES的乱序请求乐观锁 前言 书接上回版本号 还能有点啥 咱们再唠唠 上回说到版本号的更新机制及如何查询版本号 详情看这里---->https://blog.csdn.net/qq_43641069/article/details/118358015 版本号的意义 简单来说 四个字儿：防止冲突。 ElasticSaerch需要一种方法确保文档的旧版本不会覆盖新的版本：ES利用_vers
（08）ES如何基于version版本控制
weixin_39912640的博客
02-01 1575
1. ESversion （1）_version元数据 PUT /test_index/test_type/6 { “test_field”: “test test” } { “_index”: “test_index”, “_type”: “test_type”, “_id”: “6”, “_version”: 1, “result”: “created”, “_shards”: { “total”: 2, “successful”: 1, “failed”: 0 }, “created”: true }
es数据防篡改方案通过_version和runtime fields特性来实现
qq_35515283的博客
10-12 1264
es数据防篡改方案通过_version和runtime fields特性来实现,包括对_version和runtime fields的介绍
ES中的version机制
chuanyangwang的专栏
10-01 1520
ES version的管理是在LiveVersionMap中实现的， 主要包含以下4部分信息 1. version 2. seqNo 3. term 4. translogLocation IndexVersionValue(Translog.Location translogLocation, long version, long seqNo, long term) { super(version, seqNo, term); this.translog
ES中文档的版本号
qq_43641069的博客
06-30 1621
ES中文档的版本号文档的版本号版本号更新机制如何查询版本号 文档的版本号 在es中每个文档都有一个版本号，默认情况下，版本号都是随着每次对该文档的修改或者删除自增的。在某些文档会在固定时间间隔被更新，且本身会记录时间的情况下，则可以用过版本号这一信息推断出该文档的第一次插入时间。首次插入时间即为当前文档记录的时间减去其更新次数与固定时间间隔的乘积。 版本号更新机制 首次插入数据时，版本号为1. 每次更新数据时，版本号都会+1。 例如： PUT test1/_doc/1 { “name”: “bbbb” }
16.分布式文档系统_动手实战演练Elasticsearch基于_version进行乐观锁并发控制
01-07
1、先构造一条数据出来 PUT /test_index/test_type/7 { test_field:test test } -------------------------------结果------------------... _version: 1, result: created, _shards: { total: 2, successful: 1,
17.分布式文档系统_动手实战演练Elasticsearch基于external version进行乐观锁并发控制
01-07
这个时候，你进行乐观锁并发控制的时候，可能并不是想要用es内部的_version来进行控制，而是用你自己维护的那个version来进行控制。 （2）区别 语法区别： es内部version： ?version=1 external version：?v
Elasticsearch实战与原理解析 源代码.zip
06-06
这份"**Elasticsearch实战与原理解析 源代码**"的压缩包文件提供了关于这个强大工具的实践案例和源代码，旨在帮助用户深入理解和掌握Elasticsearch的核心功能和工作原理。 首先，我们要了解Elasticsearch的基本概念...
Elasticsearch 并发修改乐观锁
08-12
**标题：“Elasticsearch 并发修改乐观锁”** 在分布式搜索引擎Elasticsearch中，数据的并发修改是一个关键问题，而乐观锁就是一种用于解决这种问题的机制。乐观锁假设在大多数情况下，不会发生数据冲突，因此在...
ElasticSearch + 架构解析 + 最佳实践
07-22
ElasticSearch 架构解析与最佳实践 ElasticSearch 作为一个基于 Lucene 的搜索引擎，它的架构设计和原理分析是非常重要的。下面我们来详细地分析 ElasticSearch 的架构和原理。 一、ElasticSearch 应用概述 ...
基于ElasticSearch的搜房网实战1
08-08
**基于ElasticSearch的搜房网实战** 在构建搜房网这样的房地产信息平台时，ElasticSearch是一个关键的搜索引擎技术，它提供了实时、高效的全文检索能力。本实战中，我们将探讨如何结合其他核心技术来实现站内搜索...
ElasticSearch基于Mysql热更新IK词典项目
10-31
1. 并发控制：避免过多的并发更新操作，以免对ES和MySQL造成压力。 2. 缓存策略：可以考虑使用缓存机制，减少频繁的数据库访问。 3. 更新频率：合理设定更新频率，平衡实时性和系统负载。 4. 优化SQL：尽量使用高效...
java使用elasticsearch分组进行聚合查询过程解析
08-25
Java 使用 Elasticsearch 进行分组聚合查询过程解析 Java 使用 Elasticsearch 进行分组聚合查询是一个常见的需求，特别是在大数据处理和数据分析领域。Elasticsearch 提供了强大的聚合功能，可以对数据进行分组、...
SpringBoot操作Elasticsearch的实战案例，elasticsearch 2.4.5/5.6.1
最新发布
06-30
【作品名称】：SpringBoot操作Elasticsearch的实战案例，elasticsearch 2.4.5/5.6.1 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 ...
es version并发版本控制
weixin_33937778的博客
01-22 1472
2019独角兽企业重金招聘Python工程师标准>>> ...
ElasticSearch系列十：ES底层原理探秘
zhou870498的博客
05-30 6958
一、ES基于_version进行乐观锁并发控制 post /index/type/id/_update?retry_on_conflict=5&version=6 ①内部_version版本号：  第一次创建document的_version版本号为1，以后每次对这个document修改或删除操作，_version自动加1。  同时带上数据的版本号，确保es中数据的版本号，跟客户端中的...
elasticsearch中版本号（version）的问题
热门推荐
一座青山的专栏
04-18 2万+
    今天在分析ES的索引的创建过程中看到了些和version相关的变量（例如：versionForIndexing）。这些个变量是干什么的呢？    答：用于冲突处理的。    在ES的应用场景中，使用index API更新文档，可以一次性读取原始文档，做修改，然后重新索引整个文档，最近的索引请求将获胜：无论最后哪一个文档被索引，都将唯一存储在ElasticSearch中，如果其他人同时更改了...
ES（三）es查询语法
w_t_y_y的博客
10-28 3215
一、介绍：语法GET /索引/类型/_search 查询条件， 这个查询条件有两种写法，一种是在GET的url中指定参数；还有一种是ES查询表达式 (DSL) 检索：将请求参数按照ES约定的格式构造为一个JSON进行请求，放在请求体中。分别来看下： 1、url法：这种方法比较简单，如查询所有 GET /wtyy-test/user/_search 条件查询： GET /es-test/_search?q=blog 2、DSL法：常见的有： 查询方式 ...
"ElasticSearch 架构解析与最佳实践：内核原理、调优实战分析
通过调优实战和持续优化，可以确保Elasticsearch集群在处理大规模数据时表现出色，满足用户对搜索和分析功能的需求。随着大数据和实时分析的不断发展，Elasticsearch将继续发挥重要作用，帮助企业更好地利用数据来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值