【Elasticsearch】索引恢复（recovery）流程梳理之EXISTING_STORE索引数据恢复

最新推荐文章于 2024-06-03 15:42:05 发布
最新推荐文章于 2024-06-03 15:42:05 发布
阅读量1.8k 收藏 22
点赞数 22
文章标签： elasticsearch java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45857154/article/details/135560001
版权

介绍

索引recovery是指索引数据恢复，包含以下几种类型

  • EMPTY_STORE, 索引没有数据，一般是新建索引的情况，不用恢复数据
  • EXISTING_STORE, 从本地存储的数据恢复，例如集群重启primary shard进行数据恢复
  • PEER, 从另一个节点恢复数据，例如集群重启replica从primary恢复数据；primary进行relocate到另一个节点
  • SNAPSHOT, 从SNAPSHOT中恢复数据
  • LOCAL_SHARDS，从本节点的其他shard恢复数据，例如shrink操作

recovery过程包含以下几个阶段

  • INIT 初始化阶段，还没开始恢复数据
  • INDEX 恢复Lucene文件，要么复用本地的文件，要么从其他节点复制文件
  • VERIFY_INDEX 对分片（Lucene index）进行检查是否损坏
  • TRANSLOG 启动index engine，重放translog
  • FINALIZE 当translog重放完成后，执行最后的任务
  • DONE recovery结束

今天我们介绍下 从本地存储的数据恢复的recovery流程，后面我会另写一篇博客介绍从另一个节点恢复数据的过程。

primary shard重启具体流程

master node

  1. 完成EXISTING_STORE的分片分配，具体流程可见我的另一个
最低0.47元/天 解锁文章
NEUpanning
关注
【Elasticsearch】 elasticsearch之Recovery 手动触发索引滚动
九师兄
11-02 852
1.概述 es相关介绍参考Recovery 【Elasticsearch】 elasticsearch之Recovery 官网参考：https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-rollover-index.html 我有一个es的索引，比如是， log-20200901-000001,模板是template_20200901，别名是 alians_20200901 但是因为某些原因我模板修改了，此时我想让.
【Elasticsearch】Elasticsearch 最佳实践系列之分片恢复并发故障
九师兄
06-16 1199
这个实验，我在6.8 版本上，没有测试出来大家好，今天为大家分享一次 ES 的填坑经验。主要是关于集群恢复过程中，分片恢复并发数调整过大导致集群 hang 住的问题。场景描述废话不多说，先来描述场景。某日，腾讯云线上某 ES 集群，15个节点，2700+ 索引，15000+ 分片，数十 TB 数据。由于机器故障，某个节点被重启，此时集群有大量的 unassigned 分片，集群处于 yellow 状态。设定之后，观察集群 unassigned 分片，一开始下降的速度很快。
elasticsearch之Recovery
vincent_duan的专栏
08-06 410
什么是recovery？ 在elasticsearch中，recovery指的是一个索引的分片分配到另外一个节点的过程，一般在快照恢复、索引复制分片的变更、节点故障或重启时发生，由于master节点保存整个集群相关的状态信息，因此可以判断哪些分片需要再分配及分配到哪个节点，例如： 如果某个主分片在，而复制分片所在的节点挂掉了，那么master需要另行选择一个可用节点，将这个主分片的复制分片分配到可用节点上，然后进行主从分片的数据复制。 如果某个主分片所在的节点挂掉了，复制分片还在，那么master会主导将
Elasticsearch Recovery详解
Terry 的博客
10-21 8709
Elasticsearch Recovery详解 基础知识点 在Eleasticsearch中recovery指的就是一个索引的分片分配到另外一个节点的过程；一般在快照恢复、索引副本数变更、节点故障、节点重启时发生。由于master保存整个集群的状态信息，因此可以判断出哪些shard需要做再分配，以及分配到哪个结点，例如: 如果某个shard主分片在，副分片所
【Elasticsearch索引】Recovery恢复索引
qq_44849679的博客
02-28 1594
因为Lucene提交的开销太大，无法在每个单独的更改上执行，所以每个分片副本都有一个与之关联的事务日志，称为translog。对Lucene的更改只会在Lucene提交期间持久化到磁盘上，这是一个相对昂贵的操作，因此不能在每次索引或删除操作之后执行。更准确地说，如果设置为request, Elasticsearch只会在跨日志在主服务器和每个分配的副本上成功地同步并提交之后，向客户端报告索引、删除、更新或批量请求的成功。recovery命令是索引分片恢复的视图，包括正在进行的和已经完成的。
ElasticSearch Recovery 分析
xiaomin1991222的专栏
07-02 296
上周出现了一次故障，recovery的过程比较慢，然后发现Shard 在做恢复的过程一般都是卡在TRANSLOG阶段，所以好奇这块是怎么完成的，于是有了这篇文章 这是一篇源码分析类的文章，大家需要先建立一个整体的概念，建议参看 这篇文章 另外你可能还需要了解下 Recovery 阶段迁移过程： INIT -> INDEX -> VERIFY_INDEX -> TRANS...
ElasticSearch 源码分析 十一 索引恢复流程
郭传志的博客
02-09 574
使用Translog 来恢复 fileSystem cache丢失的数据 索引的恢复分为以下几种： 1. EXISTING_STORE ： 主分片从本地恢复 1.1 启动一个新的线程池，执行主分片的恢复。调用recoverFromStore 1.2 先判断canRecover： 索引的分片不能是closed，当前不能是主分片，必须是副分片 1.3 ...
【Elasticsearch索引恢复流程（上）】
热门推荐
来啦，老弟~
05-29 4万+
Reference
ES索引恢复流程解析
qq_27639777的博客
04-29 3160
文章目录背景主分片恢复流程INIT阶段INDEX阶段VERIFY_INDEX阶段TRANSLOG阶段FINALIZE阶段DONE阶段副分片恢复流程流程概述副分片节点处理过程INIT阶段INDEX阶段VERIFY_INDEX阶段TRANSLOG阶段FINALIZE阶段DONE阶段主分片节点处理过程phase1phase2 背景 索引恢复是ES数据恢复过程。待恢复的数据是客户端写入成功，但未执行刷盘（flush）的Lucene分段。根据数据分片性质，索引恢复过程可分为主分片恢复流程和副分片恢复流程。 主分片从
Elasticsearch之recovery
weixin_30341745的博客
08-26 192
定义 recovery是一个索引的分片分配到另外一个节点的过程，一般发生在快照恢复，索引复制分片的变更，节点故障或者重启节点时候发生。recovery的过程消耗额外的资源cpu 内存 节点点的网络带宽等等。 减少集群full restart造成的数据来回拷贝 　　1.在集群启动的过程中，一旦有了多少启动成功再执行恢复的过程 master节点和data节点都算在其中 1 gat...
ES索引备份与恢复
lishuailing123的博客
09-27 444
在进行ES数据迁移的时候，由于一些原因需要将索引进行备份到本地，然后在导入到新的ES集群中。
ElasticSearch之cat recovery API
Jackie的家
12-11 304
ElasticSearch之cat recovery API
【Elasticsearch】索引恢复（recovery）流程梳理之副本分片数据恢复
weixin_45857154的博客
01-17 1528
因为replica恢复时的phase2阶段既有新写入的replication，也有回放的doc，此时如果针对doc 1有两个更新操作，第一个在回放的操作中，第二个在新的replication，然后replica先执行了replication再执行回放会导致数据不一致，ES通过校验version来解决这个问题，第一个操作的version小于第二个操作，因此即使第一个操作后到达也会被拒绝。
es 常用操作 备份 恢复 重建索引
mengyouyouzi的专栏
10-08 711
es 常用操作 备份 恢复 重建索引 es备份操作 操作步骤 配置elasticsearch.yml,增加或者修改 /home/es/elasticsearch-7.8.0/backup位置自定义 path.repo: ["/home/es/elasticsearch-7.8.0/backup"] 创建仓库 curl -X PUT "127.0.0.1:9200/_snapshot/es_doc_test" -H 'Content-Type: application/json' -d'{ "typ
es recover
日照香炉生紫烟，遥看瀑布挂前川。 飞流直下三千尺，疑是银河落九天。
07-01 249
on log operations 2015-07-01 14:33:09,517 TRACE indices.recovery: [15] [yotta-20150629][23] no translog operations (id: [1435590963614]) to send to [14][uwra9okWTSOVARg5QqTbxA][centos-14][inet[/192.1...
浅谈Elasticsearch备份和恢复
weixin_59801183的博客
12-08 1675
Elasticsearch 是一个分布式搜索和分析引擎，广泛应用于各种场景，如日志分析、全文搜索和实时数据处理。在使用 Elasticsearch 时，数据的安全和可用性至关重要。本文将详细讲解 Elasticsearch 的备份和恢复功能，包括快照、恢复和灾难恢复策略。
ElasticSearch速学 - 自定义分析器、备份和恢复索引数据
04-20 2212
我们前面对ElasticSearch搜索api里的分析器、分词、分词过滤器、字符过滤器有了一个简单的学习，实际上在我们正式使用当中肯定要自定义分析器，系统自带的分析器可能是不能满足我们的业务需求。我们还可能使用一些第三方的分词器，比如我们的中文分词怎么分。自定义分析器官方文档： https://www.elastic.co/guide/en/elasticsearch/reference/5.3/
ES备份数据-快照模式-并恢复---NFS篇
最新发布
cz124560的博客
06-03 1297
我这边采用快照的模式进行备份数据 备份源的es 版本要等于低于恢复elasticsearch集群的版本； 先看下： ES集群快照存在版本兼容性问题：https://www.elastic.co/guide/en/elasticsearch/reference/current/snapshot-restore.html 首先为快照目录建立共享 我这边用的是nfs
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值