【ElasticSearch】Es 源码之 GatewayMetaState 源码解读

最新推荐文章于 2022-04-09 23:05:28 发布
最新推荐文章于 2022-04-09 23:05:28 发布
阅读量197 收藏
点赞数
分类专栏： 大数据-Elasticsearch 文章标签： elasticsearch GatewayMetaSta
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/116275510
版权
大数据-Elasticsearch 专栏收录该内容
561 篇文章 547 订阅 ¥79.90 ¥99.00
订阅专栏
本文详细介绍了ElasticSearch在启动过程中如何加载和处理集群元数据，特别是通过GatewayMetaState组件。从legacy-zen启动方式到主节点和数据节点的处理，包括loadBestOnDiskState、prepareInitialClusterState以及增量持久化等关键步骤。文章还探讨了不同节点类型的处理策略，特别是在数据清理方面的角色。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

根据启动流程 【ElasticSearch】Es 启动流程源码分析 在Node初始化的时候将会初始化GatewayMetaState

 logger.info("初始化 GatewayMetaState  ");
final GatewayMetaState gatewayMetaState = new GatewayMetaState();

在启动时加载(可能

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【ElasticSearch】Es 源码之 GatewayModule GatewayService 源码解读
九师兄
04-30 266
1.概述 根据启动流程 【ElasticSearch】Es 启动流程源码分析 在Node初始化的时候将会初始化GatewayModule logger.info("初始化 GatewayModule "); modules.add(new GatewayModule()); 2.构造函数 public class GatewayModule extends AbstractModule { @Override protected void configure() {
28.Elasticsearch的底层模块深入解析之gateway
lm324114的专栏
03-13 3735
gateway，elasticsearch底层的一个module，这个module，你也可以认为是什么呢？认为是es代码中的一个模块 gateway这个模块是负责干什么的，module，java，j2ee，java web，用户管理模块，订单管理模块。。。用户管理模块，就是类似一个module，是用来管理用户信息的 elasticsearch底层模块，英文，module，类似用户管理模块，订单...
es中GatewayMetaState
多看多听多总结
03-10 291
1、概述 GatewayMetaState是在启动时加载集群元数据，并且存储集群数据用于下次重启。 2、启动 2.1 主节点或者数据节点 2.1.1 loadBestOnDiskState 主节点或者数据节点时，通过PersistedClusterStateService#loadBestOnDiskState来加载存在磁盘上的集群元数据。先在当前数据目录下的state目录下通过createDirectory创建基于lucene的Directory，然后调用loadOnDiskState加载元数据
es中的Gateway模块
多看多听多总结
04-09 1825
1、简介 负责集群元信息的存储和集群重启时的恢复 2、元数据 元数据信息包含以下几种 集群元数据 索引层面元数据 分片层面元数据 分别对应es中的数据结构 2.1 Metadata 其对应的文件名在datapaths/_state/目录下，对应文件名为global-{generation}.st 包含的信息有 名称 说明 version clusterUUID clusterUUIDCommitted coordinationMetadata
ES gateway流程分析
Felix_阳的博客
01-10 1092
基于版本: 5.5.3 背景 es 存储的数据有以下几种形式: state index translog index 为 lucene 生成的索引文件 translog 为es 产生的事务日志 state 是元数据信息,有以下几种: nodes/0/_state/global-82.st 集群层面元信息 nodes/0/indices/website/_state/state-...
ES5.6.4源码分析----gateway流程
qqqq0199181的博客
09-29 359
背景 本文转载自 https://www.easyice.cn/archives/226 es 存储的数据有以下几种形式: - state - index - translog index 为 lucene 生成的索引文件 translog 为es 产生的事务日志 state 是元数据信息,有以下几种: nodes/0/_state/global-82.st 集群层面元信息 ...
elasticsearch源码
最新发布
09-20
**Elasticsearch源码分析** Elasticsearch（ES）是一款基于Lucene的开源搜索引擎，以其分布式、全文检索、实时分析的特性，在大数据时代受到了广泛的应用。深入理解Elasticsearch源码，有助于我们更好地掌握其工作...
elasticsearch_ES_Elasticsearch界面_elasticsearch_源码
10-04
**三、Elasticsearch源码** Elasticsearch的源码是用Java编写的，并且是Apache 2.0许可下的开放源代码项目。通过阅读源码，开发者可以深入了解其内部机制，包括分片、复制、路由、搜索算法等。此外，源码提供了扩展...
ElasticSearch的gateway分析
codingapple
12-13 4988
ElasticSearch的gateway功能，官方上的解释为时间机器。当集群整体down掉的时候，就好比时间机器一样进行数据的恢复。因此ElasticSearch的gateway模块就是为了集群的整体数据恢复服务的。         在上篇博客ElasticSearch的shard迁移中简单讲到了ElasticSearch的数据迁移，其实它算是当集群中有部分节点down掉后的局部恢复功能。本篇
elasticsearch源码分析之Gateway(六)
thomas0yang的专栏
09-14 6219
一、es数据文件 1.1文件目录1.2broker文件1.3node文件1.4ClusterState类 二、Gateway写入（state文件的写入）三、Gateway恢复（state文件的读取）四、讨论附录 一、es数据文件 我们将探讨由es系统各个部分写入的目录文件，分别从broker(master)和node(data)的结构文件进行介绍，并给其一个简短说明。
elasticsearch 5.2.2 学习笔记之源码阅读8-网关模块(GatewayModule)总览之state相关操作
undergrowth的专栏
10-11 528
elasticsearch 5.2.2 学习笔记之源码阅读8-网关模块(GatewayModule)总览之state相关操作 概述 参考 https://github.com/elastic/elasticsearch/tree/v5.2.2 https://blog.csdn.net/undergrowth/article/details/82851401 https://blog.csdn...
ES报错IOException: failed to read（_state/state-42.s）
changhuanghuan9354的博客
07-02 1924
4) Error injecting constructor, ElasticsearchException[java.io.IOException: failed to read [id:42, legacy:false, file:/data03/es/nodes/0/indices/7OnVKVcGQieslgR7mvZ4QQ/_state/state-42.st]]; nested: ...
Elasticsearch 6.6 视频搜索项目实战教程
05-30
本课程为ElasticSearch6.6视频搜索项目实战课程，项目基于Java开发，通过视频搜索项目案例的方式讲解Elasticsearch分布式搜索引擎中的核心技术，学员学习本课程以后可以初级实现类似优酷视频搜索项目。
这可能是全网Spring Cloud Gateway限流最完整的方案了！
Java笔记虾
09-30 9517
作者：aneasystone https://www.aneasystone.com/话说在 Spring Cloud Gateway 问世之前，Spring Cloud ...
ElasticSearch的Gateway及存储原理
10-28 3111
ES里有一个叫做gateway的东西，今天抽空理一下，前面翻译ES的一篇博文叫做“搜索引擎与时间机器”，既然里面谈到了时间机器，就免不了需要穿越时空的的门咯，I guess，也许gateway这名字就是这么来的，其实在ES里面，gateway的主要职责是用来对数据进行长持久化(持久化了之后加上版本信息，不就可以自由的往还于过去未来之间了吗？)，另外，整个集群重启之后可以通过gateway重新恢
ES基本介绍
热门推荐
NasubiZW
06-28 31万+
简介 ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。 同时ES还是一个分布式文档数据库，其中每个字段均可被索引，而且每个字段的数据均可被搜索，能够横向扩展至数以百计的服务器存储以及处理PB级的数据。 可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。 ES就是为高可用和可扩展而生的。一方面可以通...
ElasticSearch分布式微服务架构课程：源码+视频+讲义
此外，了解ES的三个主要配置文件（如elasticsearch.yml）对于调整集群参数至关重要。 5. **ES快速入门与程序编写**： - 这部分涵盖了创建索引库、映射、文档，以及执行搜索的基本操作。通过这些练习，开发者可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值