elasticsearch 写一致性原理以及quorum机制

一、简介

我们在发送任何一个增删改操作的时候,比如说: put /index/type/id,都可以带上一个consistency参数,指明我们想要的写一致性是什么,例:

put /index/type/id?consistency=quorum

二、consistency

consistency的三个值:one(primary shard)、all(all shard)、quorum(default)。

  1. one:要求我们这个写操作,只要有一个primary shard是active活跃可用的,就可以执行
  2. all:要求我们这个写操作,必须所有的primary shard和replica shard都是活跃的,才可以执行这个写操作
  3. quorum:默认的值,要求所有的shard中,必须是大部分的shard都是活跃的,可用的,才可以执行这个写操作

三、quorum机制

写之前必须确保大多数shard都可用,保证shard数量大于int( (primary + number_of_replicas) / 2 ) + 1 才生效,所以number_of_replicas必须大于1(根据前面的式子)。

quroum = int( (primary + number_of_replicas) / 2 ) + 1

例:3个primary shard,number_of_replicas=1,总共有3 + 3 * 1 = 6个shard
quorum = int( (3 + 1) / 2 ) + 1 = 3
所以,要求6个shard中至少有3个shard是active状态的,才可以执行这个写操作

如果节点数少于quorum数量,可能导致quorum不齐全,进而导致无法执行任何写操作

例:3个primary shard,replica=1,要求至少3个shard是active,3个shard,必须在不同的节点上,如果说只有2台机器的话,是不是有可能出现说,3个shard都没法分配齐全,此时就可能会出现写操作无法执行的情况


es提供了一种特殊的处理场景,就是说当number_of_replicas>1时才生效,因为假如说,你就一个primary shard,replica=1,此时就2个shard,(1 + 1 / 2) + 1 = 2,要求必须有2个shard是活跃的,但是可能就1个node,此时就1个shard是活跃的,如果你不特殊处理的话,导致我们的单节点集群就无法工作

四、quorum wait

quorum不齐全时,会wait,默认1分钟,timeout,100,30s。wait等待期间,期望活跃的shard数量可以增加,最后实在不行,就会timeout。

其实可以在写操作的时候,加一个timeout参数,这个就是说自己去设定quorum不齐全的时候,es的timeout时长,可以缩短,也可以增长,如:

put /index/type/id?timeout=30 # 默认毫秒
put /index/type/id?timeout=30s # 指定单位为30秒
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值