ES:基于_version进行乐观锁并发控制

在这里插入图片描述

图示的冲突过程,其实就是es的并发冲突问题,会导致数据不准确
当并发操作es的线程越多,或者读取一份数据,供用户查询和操作的时间越长,在这段时间里,如果数据被其他用户修改,那么我们拿到的就是旧数据,基于旧数据去操作,就会导致错误的结果

1、悲观锁与乐观锁两种并发控制方案
悲观锁(Pessimistic Lock),,每次去拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多这种锁机制,比如行锁,表锁等,读锁,写锁等,都是在做操作之前先上锁

乐观锁(Optimistic Lock), 每次去拿数据的时候都认为别人不会修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新这个数据,可以使用版本号等机制。乐观锁适用于多读的应用类型,这样可以提高吞吐量,像数据库如果提供类似于write_condition机制的其实都是提供的乐观锁。
在这里插入图片描述
悲观锁的优点是:方便,直接加锁,对应用程序来说,透明,不需要做额外的操作;缺点,并发能力很低,同一时间只能一条线程操作数据

乐观锁的优点是:并发能力很高,不给数据加锁,大量线程并发操作;缺点,麻烦,每次更新的时候,都要先对比版本号,然后可能需要重新加载数据,再次修改,再写;这个过程,可能要重复好几次。

2、内部如何基于_version进行乐观锁并发控制
(1)_version元数据

PUT /test_index/test_type/5
{
  "test_field": "test test"
}
{
  "_index": "test_index",
  "_type": "test_type",
  "_id": "5",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "created": true
}

第一次创建一个document的时候,它的_version内部版本号就是1;以后,每次对这个document执行修改或者删除操作,都会对这个_version版本号自动加1;哪怕是删除,也会对这条数据的版本号加1

DELETE  /test_index/test_type/5
{
  "found": true,
  "_index": "test_index",
  "_type": "test_type",
  "_id": "5",
  "_version": 3,
  "result": "deleted",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  }
}

在删除一个document之后,可以从一个侧面证明,它不是立即物理删除掉的,因为它的一些版本号等信息还是保留着的。先删除一条document,再重新创建这条document,其实会在delete version基础之上,再把version号加1

(2)图解内部如何基于_version进行乐观锁并发控制
在这里插入图片描述
(3)基于external version进行乐观锁并发控制
语法:

?version=1&version_type=external

version_type=external,唯一的区别在于。
_version,只有当你提供的version与es中的_version一模一样的时候,才可以进行修改,只要不一样,就报错
version_type=external,只有当你提供的version比es中的_version大的时候,才能完成修改。

PUT /test_index/test_type/8?version=2&version_type=external
{  
  "test_field": "test test1"
}
{
  "error": {
    "root_cause": [
      {
        "type": "version_conflict_engine_exception",
        "reason": "[test_type][8]: version conflict, current version [2] is higher or equal to the one provided [2]",
        "index_uuid": "toqtg_FpS-e8bCUkqRr2-Q",
        "shard": "1",
        "index": "test_index"
      }
    ],
    "type": "version_conflict_engine_exception",
    "reason": "[test_type][8]: version conflict, current version [2] is higher or equal to the one provided [2]",
    "index_uuid": "toqtg_FpS-e8bCUkqRr2-Q",
    "shard": "1",
    "index": "test_index"
  },
  "status": 409
}

重新基于最新的版本号发起更新

GET /test_index/test_type/8
{
  "_index": "test_index",
  "_type": "test_type",
  "_id": "8",
  "_version": 3,
  "found": true,
  "_source": {
    "test_field": "test test1"
  }
}
PUT /test_index/test_type/8?version=3&version_type=external
{  
  "test_field": "test test1"
}
{
  "_index": "test_index",
  "_type": "test_type",
  "_id": "8",
  "_version": 3,
  "result": "updated",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 2,
  "_primary_term": 1
}
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
根据引用\[1\]中的错误信息,TypeError: __new__() missing 1 required positional argument: 'is_raw',这个错误通常是由于在创建一个新的对象时,缺少了一个必需的参数is_raw导致的。根据引用\[3\]中的代码,可以看出这个错误是在创建一个RawDataElement对象时发生的。可能是在调用这个对象的构造函数时,没有正确地传递dataset_root参数导致的。 另外,根据引用\[2\]中的描述,也有可能是由于Python库版本不兼容导致的。作者在使用es库时,Python版本为8.1.0,而本地es服务器版本为8.1.1。为了解决这个问题,作者将本地es服务器版本降级到了5.1.1,并将Python的es库版本降级到了5.1.0,这样问题就得到了解决。 综上所述,解决TypeError: __init__() missing 1 required positional argument: 'dataset_root'的方法是确保在创建RawDataElement对象时正确传递了dataset_root参数,并且检查Python库的版本兼容性。 #### 引用[.reference_title] - *1* *3* [TypeError: __new__() missing 1 required positional argument: ‘is_raw](https://blog.csdn.net/m0_60568871/article/details/127291889)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [已解决 | python 操作 elasticsearch TypeError: __init__() missing 1 required positional argument: ...](https://blog.csdn.net/shaotianyang12/article/details/125098389)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值