elasticsearch集群慢查询调优求援

已于 2022-08-23 23:51:05 修改
阅读量428 收藏 3
点赞数
文章标签： elasticsearch 大数据 搜索引擎
于 2022-08-23 19:43:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42557970/article/details/126488704
版权

集群慢查询调优求援

描述

某业务集群因业务需要做bool查询，对该查询时间延迟要求需要在500ms一下，在收到应用端反馈查询慢后通过分析集群慢查询日志发现该bool查询平均时间延迟在1~6s左右。

集群环境配置

28个节点(5master + 5协调 +18data),一个物理机部署3~5个节点，物理机内存大小为504GB,每个节点JVM大小为30GB，磁盘空间为2TB,平均使用1.5TB，无存储热点。
在这里插入图片描述

慢查询索引配置

54主分片加1倍副本，单个分片大小在50GB左右，分片分布均衡，索引总大小为5TB，search rate为153/s。
在这里插入图片描述

索引settings

在这里插入图片描述

索引mappings

该索引mapping具有300左右字段，字段类型基本为keyword和double，少数几个为text+keyword。

bool查询语句

在这里插入图片描述

慢查询日志

在这里插入图片描述

分析

①.在我们初次排查中发现文档响应时间延迟和size单页数据大小成正比关系，但因业务需求不能调整单页数据size值。
在这里插入图片描述
②.物理机磁盘读IO平均在 2~3GB/秒 左右(最高离散点能达到8GB)。
在这里插入图片描述

综合以上条件，我们目前依然在寻找该慢查询调优的方案，广大热心网友若有良计还望不惜施舍，不胜感激！^ _ ^

卡卡科特~
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch 慢查询自动化巡检实践
weimob_tech的博客
05-31 549
本文主要阐述了在大批量 ES 集群下进行慢查询治理的一个方案。在自动化巡检下，发现集群查询中可以优化的内容和方向，降低排查成本。其中慢查询的判断规则和优化手段也随着慢查询治理的深入而进一步完善。在生产环境下慢查询的产生因素是复杂多样的。除了基本的profile分析，火焰图/heap dump等方式也是有效手段，在实际排查过程中也避免不了这类操作的介入。面对不同的慢查询原因，优化手段也是因地制宜，往往也是需要研发运维甚至产品等各方面同学的支持。
Elasticsearch日志配置--性能调优之慢查询日志
顾丽江的专栏
04-08 1971
es里面的操作，主要分为两种，一种写入（增删改），另一种是查询（搜索） 我们分别要识别出来，哪些写入操作性能比较慢，哪些查询操作性能比较慢，先要识别出来有性能问题的这些慢查询，慢写入，然后才能去考虑如何优化写入的性能，如何优化搜索的性能 搜索慢查询日志 无论是慢查询日志，还是慢写入日志，都是针对shard级别的，因为大家应该知道，无论你是执行增删改，还是执行搜索，都是对某个数据执行写入或者是搜索，其实都是到某个shard上面去执行的 shard上面执行的慢的写入或者是搜索，都会记录在针对这个shar
如何解决 Elasticsearch 查询缓慢的问题以获得更好的用户体验
Elastic 中国社区官方博客
08-08 3198
Elasticsearch Service 用户的重要注意事项：目前，本文中描述的 Kibana 设置更改仅限于 Cloud 控制台，如果没有我们支持团队的手动干预，则无法进行配置。我们的工程团队正在努力消除对这些设置的限制，以便我们的所有用户都可以启用内部 APM。本地部署不受此问题的影响。对于任何使用 Elasticsearch 作为搜索引擎的人来说，识别查询并排除查询故障是一项需要掌握的关键技能。
【ElasticSearch】查询慢问题
weixin_47541454的博客
01-14 3072
【ElasticSearch】使用过程中出现的查询慢问题
Elasticsearch（ES）配置及优化
进击的小白
02-15 2768
在Elasticsearch中，索引的大小和存储能力取决于多个因素，包括文档大小、索引的分片数、硬件规格、查询负载和其他因素。索引和分片配置：索引和分片的数量和配置会对查询并发性能产生影响。如果索引和分片的数量太少，可能会导致查询性能不佳，而如果数量过多，可能会增加网络和节点之间的通信开销。因此，需要根据实际的查询负载和数据量进行合理的索引和分片规划。硬件资源：硬件资源，如CPU、内存、磁盘I/O等也会影响查询并发性能。
Elasticsearch：高级调优 - 查找和修复慢速 Elasticsearch 查询
Elastic 中国社区官方博客
11-30 2746
Elasticsearch 是一个非常灵活且功能丰富的应用程序，它提供了许多不同的方式来查询你的数据。 但是你是否曾经遇到过低于你希望的查询速度？ 对于像 Elasticsearch 这样的分布式系统，可能有各种影响查询性能的因素，包括外部因素，例如负载均衡器设置、网络延迟（带宽、NIC 卡/驱动程序）等。 在本博客中，我将讨论导致查询缓慢的原因以及如何在 Elasticsearch 的上下文中识别它们。 本文源于我们一些常见的故障排除方法，这些方法可能需要人们对 Elasticsearch 的工作原理相
Elasticsearch索引和查询性能调优.pdf
04-25
Elasticsearch是一个强大的分布式搜索引擎，广泛应用于日志分析、实时数据分析和全文...总之，Elasticsearch的性能调优涉及硬件、软件和索引策略等多个层面，需要综合考虑并不断测试优化，以达到最佳的查询和索引效率。
Kubernetes持久化部署elasticsearch7.15.0分布式集群
02-21
原文链接：https://blog.csdn.net/m0_37814112/article/details/122965720 说明：包含elasticsearch7.15.0集群3节点、5节点、7节点等三种方式的K8S部署yaml文件、镜像文件，里面有详细的README.txt部署参考
Elasticsearch集群模式部署
06-30
学习总结资料
SpringBoot整合elasticsearch集群
01-07
8.2.8 SpringBoot整合elasticsearch集群 Spring 是最受欢迎的企业级 Java 应用程序开发框架，数以百万的来自世界各地的开发人员使用 Spring 框架来创建性能好、易于测试、可重用的代码。Spring Boot是由Pivotal团队...
Elasticsearch集群安装配置.docx
02-05
Elasticsearch集群安装配置 Elasticsearch 是一个基于 Apache Lucene 的搜索和数据分析引擎，支持实时搜索、数据分析和报表生成等功能。为了实现高可用性和高性能，Elasticsearch 集群安装配置是非常重要的。本文将...
ElasticSearch分页查询缓慢问题记录
果然的博客
04-19 1484
ES 全量数据查询、ES分页查询缓慢问题记录
Elasticsearch优化
IT从业者
11-27 2296
es搜索优化
最全面的Elasticsearch查询调优
weixin_43694201的博客
04-05 3046
将内存分配给文件系统缓存 ​ Elasticsearch严重依赖文件系统缓存来增加搜索速度，我们要尽量确保至少有一半的可用内存进入文件系统，以便Elasticsearch可以将索引的热点区域保留在屋里内存中。 使用更快的硬件。 创建合适的文档索引映射 ​ 避免连接，nested可以使查询慢几倍，父子关系可以使查询慢数百倍，我们可以尽量通过非规范化文档在不连接的情况下回答相同的问题，则可以显著的提升查询速度。 搜索尽可能搜索较少的字段 使用query_string，或者multi_ma..
为什么Elasticsearch查询变得这么慢了？
hellozhxy的博客
08-02 1278
让index压力分摊至多个节点：可通过index.routing.allocation.totalshardsper_node参数，强制限定一个节点上该index的shard数量，让shard尽量分配到不同节点上 综合考虑整个index的shard数量，如果shard数量（不包括副本）超过50个，就很可能引发拒绝率上升的问题，此时可考虑把该index拆分为多个独立的index，分摊数据量，同时配合routing使用，降低每个查询需要访问的shard数量。通常，当您使用搜索引擎时，您需要最准确的结果。
elasticsearch 慢查询分析方法
zhangjiaxx的博客
12-07 654
2. 查询 时在header 传入 X-Opaque-ID ，这是一个查询标记，当出现慢查询日志时，会把这个ID打印在es服务器上的慢查询日志里，最新的es8.9 见文档。当出现慢查询时，es会把这个opaque-id 打印在慢查询日志里，可以根据ID/表名/查询条件 定位是哪个业务组调用该表导致的慢查询。
elasticsearch 查询_Elasticsearch高级调优方法论-搞定慢查询
weixin_39854951的博客
11-30 629
前言elasticsearch提供了非常灵活的搜索条件给我们使用，在使用复杂表达式的同时，如果使用不当，可能也会为我们带来了潜在的风险，因为影响查询性能的因素很多很多，这篇笔记主要记录一下慢查询可能的原因，及其优化的方向。本文讨论的es版本为7.0+。慢查询现象查询服务超时最直观的现象就是提供查询的服务响应超时。大量连接被拒绝我们有时候写查询，为了图方遍，经常使用通配符*来查询，这有可能会匹配到多...
高级调优：查找并修复 Elasticsearch 慢查询
最新发布
Angus
12-17 755
Elasticsearch 是一个非常灵活且功能丰富的应用程序，它提供了许多不同的数据查询方法。但是，您是否遇到过查询速度低于预期的情况？对于像 Elasticsearch 这样的分布式系统，可能会有各种影响查询性能的因素，包括负载平衡器设置、网络延迟（带宽、网卡/驱动程序）等在内的各种外部因素。在本篇博文中，我将讨论导致慢查询的原因，以及如何在 Elasticsearch 的上下文中识别它们。
Es查询比较慢，翻页查询需要30-40秒，如何进行排查？
weixin_71921932的博客
05-08 4245
如果数据量过大，每次查询时需要进行大量的遍历和计算，会导致查询时间变长。可以通过对索引进行优化，如添加合适的字段映射，减少不必要的字段存储来缩短查询时间。如果索引设计不合理，也会导致查询时间变长。可以通过检查分片和副本配置、合理设置Mapping和Analazer等方式来优化索引设计。如果硬件资源不足，如CPU、内存、磁盘I/O等方面，也会影响查询性能。可以通过增加硬件资源、调整集群配置等方式来提高查询性能。如果使用的ES版本过低，可能存在一些性能问题和bug，建议升级到最新版本或稳定版本。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值