ElasticSearch--document增删改查内部原理

  • 何为document路由?

就是当增删改查一个document的时候,es应该到哪个shard中去查找

  • 路由算法:

目标shard=hash(routing number)%number_of_primary_shards

routing number默认为document的_id,也可以在发送请求的时候,手动指定一个,比如:PUT /index/type/id?routing=user_id。手动指定是很有用的,可以指定document路由的shard,有利于后续进行应用级别的负载均衡等

number_of_primary_shards:primary shards的数量

举个例子:一个index有3个primary shards,document id为5,者目标shard=hash(5)%3

  • 为啥primary shards数量不可以更改?

如果可以更改的话,更改前后的目标shard会不一致,造成数据的混乱及丢失

  • document增删改内部步骤(coordinate node,协调节点

  1. 应用程序随机找到一个处理node处理,那么此node被称为coordinate node,协调节点
  2. 协调节点计算出目标primary shard后,转发到目标primary shard操作
  3. 目标primary shard操作完成后,自动同步到replica shards上
  4. 目标primary shard把结果转发给协调节点
  5. 协调节点把结果转发给应用程序
  • document内部步骤(coordinate node,协调节点

query phase阶段

  1. 客户client端随机找到一个处理node处理,那么此node被称为coordinate node,协调节点
  2. 协调节点计算出目标primary shard后,会根据负载均衡算法(round-robin,随机轮询算法)转发到目标primary shard或者其replica shard上进行操作。如果primary shard还没有完成建立索引过程,而转发到replica shard上时,会返回找不到这个document。
  3. 目标primary shard或者其replica shard把相关结果转发给协调节点

fetch phase阶段

  1. 协调节点构完priority queue之后(简单理解为根据分数进行排序操作),发送mget请求去所有shard上获取对应的document
  2. 名个shard将document返回给协调节点
  3. 协调节点把结果转发给客户client端
  • document写一致性

当发生增删改操作时(写操作),可以加上consistency参数,用来指定写操作条件,如 PUT index/type/id?consistency=one

其值如下:

  1. one:只要有一个primary shard可用,就可以执行操作
  2. all:必须所有的primary shard和replica shard都可用,才可以执行操作
  3. quorum:默认,只有当number_of_replicas>1时才生效,所有的shard中大部分是可用的,才执行操作。公式如下:

int((primary+number_of_replicas)/2)+1

当quorum不齐全的时候,wait,默认1分钟,然后timeout,100(毫秒),30s(秒),也可以加上timeout参数,如PUT index/type/id?timeout=30

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值