十二.Elasticsearch为什么重启的时候速度那么慢？

最新推荐文章于 2024-07-29 14:00:55 发布
最新推荐文章于 2024-07-29 14:00:55 发布
阅读量4.7k 收藏 6
点赞数 1
分类专栏： es 文章标签： es
转载需注明
本文链接：https://blog.csdn.net/qq_36066039/article/details/97273073
版权
本文探讨了Elasticsearch集群重启时，由于分片处于未分配状态导致恢复缓慢的原因。重启过程中，元数据丢失，为保证数据一致性，master节点需重新分配分片，涉及主副分片的切换和新副本生成，这一过程可能导致长时间的恢复等待。同时，介绍了每个分片的Allocation ID以及同步副本集合的重要性，用于在主分片故障时选择新的主分片。
摘要由CSDN通过智能技术生成

可能很多人都遇见过，es集群重启之后，有很多的副本分片处于未分配状态，你并且很可能要等很长时间才能恢复，恢复时间和数据量大小有关，半个小时，几个小时甚至一天不等。

下面来介绍一下原因。

集群完全重启的时候，所有的分片都是未分配状态，这是因为要检测重启之后机器是否存在问题，比如说磁盘网络是不是有问题，因此集群之前存储的所有分片的元数据信息都不可用了，（元信息包括：每个节点存储的分片所在位置，以及分片中的主分片坐在的位置），那么有人问？为什么要失效呢，直接重新加载不就行了么，多快。答案是不行，因为数据有可能是有问题的，为了保证数据的安全一致性，master必须重新询问名为一个节点，重新加载分片信息，生成新的元数据信息，这就是分片的重新分配。这个过程是缓慢的，可能涉及到分片的移动，以及主分片的切换，或者是某个副本开不可用的时候的新副本生成。

顺便说一句，每一个分片都有一个ID,这就是Allocation ID.这个id 由master在分配分片的时候决定，并且由数据节点负责保存，紧邻着实际的数据的存储位置，主节点负责追踪包含最新数据的副本

了解本专栏 订阅专栏 解锁全文 超级会员免费看
我先森
关注
专栏目录
订阅专栏
【Elasticsearch】Elasticsearch 最佳实践系列之分片恢复并发故障
九师兄
06-16 1022
这个实验，我在6.8 版本上，没有测试出来大家好，今天为大家分享一次 ES 的填坑经验。主要是关于集群恢复过程中，分片恢复并发数调整过大导致集群 hang 住的问题。场景描述废话不多说，先来描述场景。某日，腾讯云线上某 ES 集群，15个节点，2700+ 索引，15000+ 分片，数十 TB 数据。由于机器故障，某个节点被重启，此时集群有大量的 unassigned 分片，集群处于 yellow 状态。设定之后，观察集群 unassigned 分片，一开始下降的速度很快。
Elasticsearch启动过程中遇到的坑
weixin_38806650的博客
07-03 392
1、ES报错：Cenots elasticsearch max virtual memory areas vm.max_map_count [65530] is too low, increase t 解决办法：https://blog.csdn.net/weixin_43230063/article/details/84251597 2、elastic search报错——“failed to obtain node locks” 第一步：通过命令：ps aux | grep ‘elastic’ 进
docker elasticsearch 慢_Elasticsearch安装
weixin_39845039的博客
11-24 414
liunx 安装下载登录你的服务器，作者在这里准备了一台云服务器，创建一个目录，将Elasticsearch下载到你的服务器上。#创建目录esmkdires#进入es目录cd/es#下载eswgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz如...
一次ES集群崩溃及恢复过程
最新发布
SYN_ACK的博客
07-29 1063
生产环境上搭建了一套由Filebeat + Kafka + Logstash + Elasticsearch + Kibana实现的实时日志分析系统。每一台生产服务器上利用Filebeat收集指定的应用日志，作为生产者写入到Kafka中；另一端Logstash作为消费者消费Kafka中的消息，并上报到ES集群中，最终通过Kibana展示日志消息。我们的生产集群一共七台机器专用于运行Elasticsearch集群，其中六台内存大小为62G,一台内存大小为128G。
Elasticsearch启动失败
Demolist的博客
09-27 3637
Elasticsearch启动的时候，在docker run之后使用指令docker ps会发现没有运行的，那就说明启动然后就挂掉了，这就可能是内存不足造成的，跟着做下面的步骤方可解决。这里补充一下，如果你进行以下步骤的时候，使用docker ps是显示了Elasticsearch的端口了，说明就可以了，启动不了的原因是还没加载完，等一会儿再启动就可以成功登陆了。进入后使用i插入，插入在不是注释的行，然后点击Esc,按下shift+:，输入wq!这次再重启一下，如果还是有问题，请继续下一步。
启动elasticsearch卡住不动的原因
weixin_42427230的博客
01-03 3843
启动elasticsearch卡住不动
ElasticSearch重启之后shard未分配导致个别索引为“红色”状态
热门推荐
Cocktail_py的博客
03-01 1万+
1. Check the cluster allocation explain API GET /_cluster/allocation/explain 2.根据错误提示执行相应命令 POST /_cluster/reroute?retry_failed=true 3.查看原先“红色”状态的索引分片情况 GET /_cat/shards?index=index_name 参考：Health check on my ES cluster shows 99.7% 记一次ElasticSearch重启之后
ElasticSearch重启shard恢复过慢，集群状态一直恢复不了Green，影响权限刷新和数据使用
tzq_Engineer的博客
07-17 2630
这个问题困扰我们很久，各种原因需要重启集群的时候需要等待很长时间，总要在休息时间做重启。 后来发现ElasticSearch中支持几个参数配置附上官网地址 gateway.expected_nodes gateway.expected_master_nodes gateway.expected_data_nodes gateway.recover_after_time gateway.r...
【Elasticsearch】优秀实践-你的ES为什么写的慢了？
wudingmei1023
01-08 1万+
前言 经常会有人吐槽，Elasticsearch为什么写着写着突然就慢了？ 笔者总结了常见的一些导致写入慢的场景，已供大家排查。 话不多说，进入正题… Elasticsearch写入慢问题排查思路 Elasticsearch的写入场景相对比较简单，绝大部分场景下我们都是使用bulk API进行写入操作，列举了下面一些场景可能会导致写入慢的问题。 场景1 内存参数配置不合理。 是否给El...
【Elasticsearch】es 重启 已经 重启会导致什么问题
九师兄
06-13 1074
1.概述 4.问题 4.1 pagecache失效 ES 集群重启后 Slice Scroll 速度变慢。 重启机器之后，pagecache 都没有了，所有数据都要重新从磁盘加载。
elasticsearch-head.zip
02-15
总的来说，Elasticsearch-Head插件是一个非常实用的工具，它为Elasticsearch提供了一个直观的图形用户界面，简化了管理和操作过程，提高了开发和运维的效率。对于熟悉和不熟悉Elasticsearch的用户来说，这都是一个...
Elasticsearch搜索速度的优化
qq_27639777的博客
05-17 1239
文章目录为文件系统cache预留足够的内存使用更快的硬件文档模型预索引数据字段映射避免使用脚本优化日期搜索为只读索引执行force-merge预热全局序号（global ordinals）execution hint预热文件系统cache转换查询表达式调节搜索请求中的batched_reduce_size使用近似聚合深度优先还是广度优先限制搜索请求的分片数利用自适应副本选择（ARS）提升ES响应速度 为文件系统cache预留足够的内存 在一般情况下，应用程序的读写都会被操作系统“cache”（除了direc
白话Elasticsearch66-针对集群重启时的shard恢复耗时过长问题定制的重要参数
小工匠
01-16 1万+
文章目录概述集群重启时的无意义shard重分配问题shard recovery配置 概述 继续跟中华石杉老师学习ES，第66篇 课程地址： https://www.roncoo.com/view/55 集群重启时的无意义shard重分配问题 在集群重启的时候，有一些配置会影响shard恢复的过程。 首先，我们需要理解默认配置下，shard恢复过程会发生什么事情。 如果我们有10个node，...
[原创] 记一次 ElasticSearch 问题查找 - 数据同步非常慢
张志鹏的博客
08-02 2188
开始是三个节点组成的集群, 后加了两台. 但是同步数据变的非常慢. 追查问题后发现是 ulimit 配置不当导致. $ curl 192.168.3.48:9200/_nodes/stats/process?filter_path=**.max_file_descriptors { "nodes": { "bf79DOwKQ4GJxJcsIaFDqQ": { ...
【Elasticsearch】一次响应缓慢的情况解决过程
u013202518的博客
04-24 6582
调用es接口等待时间过长 查询es集群状态：curl -XGET http://192.168.0.12:9200/_cluster/health?pretty 发现集群状态为red "status" : "red" 查看每个索引的状态：curl -XGET http://192.168.0.12:9200/_cat/indices?v 发现有许多之前安装X-Pack时候自带的无...
18.Elasticsearch生产集群部署之针对集群重启时的shard恢复耗时过长问题定制的重要参数
lm324114的专栏
03-05 332
shard recovery配置以及集群重启时的无意义shard重分配问题 在集群重启的时候，有一些配置会影响shard恢复的过程。首先，我们需要理解默认配置下，shard恢复过程会发生什么事情。如果我们有10个node，每个node都有一个shard，可能是primary shard或者replica shard，你有一个index，有5个primary shard，每个primary sha...
记录Elasticsearch 分片恢复问题
csdn_chshuai的博客
04-14 3497
问题描述： ES在重启只有健康状态变为黄色，有几个分片未分配成功 查看原因：是因为集群恢复导致的 常见的几种未分配原因如下： ALLOCATION_FAILED：由于分片分配失败而未分配。 CLUSTER_RECOVERED：由于集群恢复而未分配。 DANGLING_INDEX_IMPORTED：由于导入了悬空索引导致未分配。 EXISTING_INDEX_RESTORED：由于恢复为已关闭的索引导致未分配。 INDEX_CREATED：由于API创建索引而未分配。 INDEX_REOPENED：由于打
进阶-第94_es生产集群部署之针对集群重启时的shard恢复耗时过长问题定制的重要参数
qq_35524586的博客
03-23 446
shard recovery配置以及集群重启时的无意义shard重分配问题 在集群重启的时候，有一些配置会影响shard恢复的过程。首先，我们需要理解默认配置下，shard恢复过程会发生什么事情。如果我们有10个node，每个node都有一个shard，可能是primary shard或者replica shard，你有一个index，有5个primary shard，每个primar...
es7的co.elastic.clients.elasticsearch.core.aggregations方法怎么使用
05-19
co.elastic.clients.elasticsearch.core.aggregations 是 Java 客户端 ElasticSearch 的一个聚合（Aggregation）方法，用于对数据进行分析和统计。 具体使用方法可以参考以下示例： ```java import co.elastic.clients.base.*; import co.elastic.clients.elasticsearch.*; import co.elastic.clients.elasticsearch.core.*; import co.elastic.clients.elasticsearch.core.aggregations.*; import co.elastic.clients.elasticsearch.core.aggregations.bucket.*; import co.elastic.clients.elasticsearch.core.aggregations.metrics.*; import java.io.IOException; import java.util.*; public class ElasticSearchAggregationExample { public static void main(String[] args) throws IOException, ApiException { RestClientBuilder restClientBuilder = RestClient.builder( new HttpHost("localhost", 9200, "http") ); ElasticSearch client = new ElasticSearch(restClientBuilder); SearchRequest request = new SearchRequest() .index("my_index") .source(new SearchSource() .query(new MatchAllQuery()) .aggregations(new TermsAggregation("my_terms_agg") .field("my_field") .size(10) .subAggregations(new AvgAggregation("my_avg_agg") .field("my_other_field") ) ) ); SearchResponse response = client.search(request); TermsAggregationResult myTermsAggResult = response.aggregations().terms("my_terms_agg"); for (TermsAggregationEntry entry : myTermsAggResult.buckets()) { String term = entry.keyAsString(); long count = entry.docCount(); AvgAggregationResult myAvgAggResult = entry.aggregations().avg("my_avg_agg"); double avg = myAvgAggResult.value(); System.out.println(term + ": " + count + ", avg: " + avg); } client.close(); } } ``` 这个例子展示了如何使用 co.elastic.clients.elasticsearch.core.aggregations 方法来进行聚合查询。在这个例子中，我们使用了 TermsAggregation 和 AvgAggregation 两个聚合方法，对数据进行了分组和统计。具体步骤为： 1. 创建一个 SearchRequest 对象，并设置索引名称和查询条件。 2. 在查询条件中添加聚合条件。这里使用了 TermsAggregation 来对数据进行分组，然后使用 AvgAggregation 来统计每个分组的平均值。 3. 执行查询，并获取查询结果。 4. 使用聚合结果对象的方法来获取聚合结果，然后对结果进行处理。 需要注意的是，聚合方法的具体参数和用法可以参考 ElasticSearch 官方文档。同时，Java 客户端的版本和 ElasticSearch 的版本也需要匹配，否则可能会出现兼容性问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我先森

鼓励一个吧，哈哈

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值