elasticsearch梅开二度学习之ElasticSearch 并发版本控制

Elasticsearch并发冲突问题
悲观锁与乐观锁两种并发控制方案

Elasticsearch内部如何基于_version进行乐观锁并发控制(老版本)

Elasticsearch内部如何基于_seq_no + _primary_term 进行乐观锁并发控制(新版本)

elasticsearch _version 乐观锁版本控制练习理解

GET goods/_doc/1

老版本使用_version进行并发版本控制

新版本使用_seq_no + _primary_term 进行并发版本控制

POST goods/_update/1?if_primary_term=10&if_seq_no=940
{
  "doc": {
    "price":"1003"
  }
}

此时更新失败 因为正确_seq_no 参数为941 所以操作失败

POST goods/_update/1?if_primary_term=10&if_seq_no=940
{
  "doc": {
    "price":"1003"
  }
}

_seq_no

严格递增的顺序号，每个文档一个，Shard级别严格递增，保证后写入的Doc的_seq_no大于先写入的Doc的_seq_no。

任何类型的写操作，包括index、create、update和Delete，都会生成一个_seq_no。

_seq_no在Primary Node中由SequenceNumbersService生成，但其实真正产生这个值的是LocalCheckpointTracker，每次递增1：

/**
     * The next available sequence number.
     */
    private volatile long nextSeqNo;
    /**
     * Issue the next sequence number.
     *
     * @return the next assigned sequence number
     */
    synchronized long generateSeqNo() {
        return nextSeqNo++;
    }

每个文档在使用Lucene的document操作接口之前，会获取到一个_seq_no，这个_seq_no会以系统保留Field的名义存储到Lucene中，文档写入Lucene成功后，会标记该seq_no为完成状态，这时候会使用当前seq_no更新local_checkpoint。

checkpoint分为local_checkpoint和global_checkpoint，主要是用于保证有序性，以及减少Shard恢复时数据拷贝的数据拷贝量，更详细的介绍可以看这篇文章：Sequence IDs: Coming Soon to an Elasticsearch Cluster Near You。

_seq_no在Lucene中的映射：

Elasticsearch中_seq_no的作用有两个，一是通过doc_id查询到该文档的seq_no，二是通过seq_no范围查找相关文档，所以也就需要存储为Index和DocValues（或者Store）。由于是在冲突检测时才需要读取文档的_seq_no，而且此时只需要读取_seq_no，不需要其他字段，这时候存储为列式存储的DocValues比Store在性能上更好一些。

_seq_no是严格递增的，写入Lucene的顺序也是递增的，所以DocValues存储类型可以设置为Sorted。

另外，_seq_no的索引应该仅需要支持存储DocId就可以了，不需要FREQS、POSITIONS和分词。如果多存储了这些，对功能也没影响，就是多占了一点资源而已。

_primary_term

_primary_term也和_seq_no一样是一个整数，每当Primary Shard发生重新分配时，比如重启，Primary选举等，_primary_term会递增1。

_primary_term主要是用来恢复数据时处理当多个文档的_seq_no一样时的冲突，避免Primary Shard上的写入被覆盖。

通过put 进行数据重构修改 ，

通过version=5&version_type=external 进行外部版本控制

当version版本大于当前索引库中版本时，修改

PUT goods/_doc/1?version=5&version_type=external
{
    "title" : "小米手机",
    "price" : "1004",
    "createTime" : "2019-12-01",
    "categoryName" : "手机",
    "brandName" : "小米",
    "saleNum" : 3000,
    "stock" : 10000,
    "spec" : {
      "网络制式" : "移动4G",
      "屏幕尺寸" : "4.5"
    }
}

PUT goods/_doc/1?version=5&version_type=external·
{
    "title" : "小米手机",
    "price" : "1004",
    "createTime" : "2019-12-01",
    "categoryName" : "手机",
    "brandName" : "小米",
    "saleNum" : 3000,
    "stock" : 10000,
    "spec" : {
      "网络制式" : "移动4G",
      "屏幕尺寸" : "4.5"
    }
}

意思是说，外部的版本必须大于当前版本才能修改数据

{
  "error": {
    "root_cause": [
      {
        "type": "version_conflict_engine_exception",
        "reason": "[1]: version conflict, current version [5] is higher or equal to the one provided [5]",
        "index_uuid": "-yc6CxdmTxGlZXb2G7Q0Pg",
        "shard": "0",
        "index": "goods"
      }
    ],
    "type": "version_conflict_engine_exception",
    "reason": "[1]: version conflict, current version [5] is higher or equal to the one provided [5]",
    "index_uuid": "-yc6CxdmTxGlZXb2G7Q0Pg",
    "shard": "0",
    "index": "goods"
  },
  "status": 409
}