ElasticSearch--document增删改查内部原理

  • 何为document路由?

就是当增删改查一个document的时候,es应该到哪个shard中去查找

  • 路由算法:

目标shard=hash(routing number)%number_of_primary_shards

routing number默认为document的_id,也可以在发送请求的时候,手动指定一个,比如:PUT /index/type/id?routing=user_id。手动指定是很有用的,可以指定document路由的shard,有利于后续进行应用级别的负载均衡等

number_of_primary_shards:primary shards的数量

举个例子:一个index有3个primary shards,document id为5,者目标shard=hash(5)%3

  • 为啥primary shards数量不可以更改?

如果可以更改的话,更改前后的目标shard会不一致,造成数据的混乱及丢失

  • document增删改内部步骤(coordinate node,协调节点

  1. 应用程序随机找到一个处理node处理,那么此node被称为coordinate node,协调节点
  2. 协调节点计算出目标primary shard后,转发到目标primary shard操作
  3. 目标primary shard操作完成后,自动同步到replica shards上
  4. 目标primary shard把结果转发给协调节点
  5. 协调节点把结果转发给应用程序
  • document内部步骤(coordinate node,协调节点

query phase阶段

  1. 客户client端随机找到一个处理node处理,那么此node被称为coordinate node,协调节点
  2. 协调节点计算出目标primary shard后,会根据负载均衡算法(round-robin,随机轮询算法)转发到目标primary shard或者其replica shard上进行操作。如果primary shard还没有完成建立索引过程,而转发到replica shard上时,会返回找不到这个document。
  3. 目标primary shard或者其replica shard把相关结果转发给协调节点

fetch phase阶段

  1. 协调节点构完priority queue之后(简单理解为根据分数进行排序操作),发送mget请求去所有shard上获取对应的document
  2. 名个shard将document返回给协调节点
  3. 协调节点把结果转发给客户client端
  • document写一致性

当发生增删改操作时(写操作),可以加上consistency参数,用来指定写操作条件,如 PUT index/type/id?consistency=one

其值如下:

  1. one:只要有一个primary shard可用,就可以执行操作
  2. all:必须所有的primary shard和replica shard都可用,才可以执行操作
  3. quorum:默认,只有当number_of_replicas>1时才生效,所有的shard中大部分是可用的,才执行操作。公式如下:

int((primary+number_of_replicas)/2)+1

当quorum不齐全的时候,wait,默认1分钟,然后timeout,100(毫秒),30s(秒),也可以加上timeout参数,如PUT index/type/id?timeout=30

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要在Python中进行Elasticsearch增删改查操作,你可以使用Elasticsearch的官方库elasticsearch-py来实现。下面是一个简单的例子来演示如何进行增删改查操作: 引用: 首先,你需要导入Elasticsearch库并连接到Elasticsearch服务器: ```python from elasticsearch import Elasticsearch # 连接到Elasticsearch服务器 es = Elasticsearch([ES_IP], http_auth=('elastic', '123456'), port=ES_PORT) ``` 引用: 查询数据: - 查询所有数据: ```python body = { "size": 111, # 最大显示数量,es默认展示10条 "query": { "match_all": {} } } res = es.search(index='my-index', body=body, request_timeout=30) ``` - 查询具体某个字段: ```python body = { "size": 10000, # 最大显示数量 "query": { "match": { "text": { "query": search_key, "analyzer": "ik_smart", # 用来指定搜索的词语按那种拆词粒度拆词 "operator": "or", # 按拆分后的词查询时,词与词之间是 and 还是 or 的关系 "minimum_should_match": "75%" # 该参数用来控制应该匹配的分词的最少数量,至少匹配几个词才召回查询的结果 } } } } res = es.search(index='my-index', body=body, request_timeout=30) ``` 引用: 获取拆分后的词: 你可以使用Elasticsearch的analyze API来获取拆分后的词,例如: ```python body = { "text": "惠普 p2015dn", "analyzer": "ik_max_word" } res = es.indices.analyze(index='my-index', body=body) key_list = [dic['token'] for dic in res['tokens']] print(key_list) # ['惠普', 'p2015dn', 'p', '2015', 'dn'] ``` 以上是关于在Python中使用Elasticsearch进行增删改查的基本操作。你可以根据具体的需求使用不同的查询方式,并根据返回的结果进行相应的处理。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [python 使用 Elasticsearch 增删查改](https://blog.csdn.net/Waller_/article/details/109810964)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值