elasticsearch集群慢查询调优求援

已于 2022-08-23 23:51:05 修改
阅读量428 收藏 3
点赞数
文章标签： elasticsearch 大数据 搜索引擎
于 2022-08-23 19:43:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42557970/article/details/126488704
版权

集群慢查询调优求援

描述

某业务集群因业务需要做bool查询，对该查询时间延迟要求需要在500ms一下，在收到应用端反馈查询慢后通过分析集群慢查询日志发现该bool查询平均时间延迟在1~6s左右。

集群环境配置

28个节点(5master + 5协调 +18data),一个物理机部署3~5个节点，物理机内存大小为504GB,每个节点JVM大小为30GB，磁盘空间为2TB,平均使用1.5TB，无存储热点。
在这里插入图片描述

慢查询索引配置

54主分片加1倍副本，单个分片大小在50GB左右，分片分布均衡，索引总大小为5TB，search rate为153/s。
在这里插入图片描述

索引settings

在这里插入图片描述

索引mappings

该索引mapping具有300左右字段，字段类型基本为keyword和double，少数几个为text+keyword。

bool查询语句

在这里插入图片描述

慢查询日志

在这里插入图片描述

分析

①.在我们初次排查中发现文档响应时间延迟和size单页数据大小成正比关系，但因业务需求不能调整单页数据size值。
在这里插入图片描述
②.物理机磁盘读IO平均在 2~3GB/秒 左右(最高离散点能达到8GB)。
在这里插入图片描述

综合以上条件，我们目前依然在寻找该慢查询调优的方案，广大热心网友若有良计还望不惜施舍，不胜感激！^ _ ^

卡卡科特~
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
聚合查询越来越慢？——详解Elasticsearch的Global Ordinals与High Cardinality
茅庐
10-22 1万+
本文结合笔者在实践过程中遇到的由High Cardinality引起Global Ordinals构建过慢，从而导致聚合查询变慢的问题，阐述了Elasticsearch中两个核心概念：Global Ordinals和High Cardinality。
Elasticsearch日志配置--性能调优之慢查询日志
顾丽江的专栏
04-08 1969
es里面的操作，主要分为两种，一种写入（增删改），另一种是查询（搜索） 我们分别要识别出来，哪些写入操作性能比较慢，哪些查询操作性能比较慢，先要识别出来有性能问题的这些慢查询，慢写入，然后才能去考虑如何优化写入的性能，如何优化搜索的性能 搜索慢查询日志 无论是慢查询日志，还是慢写入日志，都是针对shard级别的，因为大家应该知道，无论你是执行增删改，还是执行搜索，都是对某个数据执行写入或者是搜索，其实都是到某个shard上面去执行的 shard上面执行的慢的写入或者是搜索，都会记录在针对这个shar
为什么Elasticsearch查询变得这么慢了？
weixin_34198881的博客
01-12 214
参考内容：https://mp.weixin.qq.com/s/RTpBaFpNELQCO6VE0KMfsw 转载于:https://www.cnblogs.com/Rawls/p/10259975.html
如何解决 Elasticsearch 查询缓慢的问题以获得更好的用户体验
Elastic 中国社区官方博客
08-08 3176
Elasticsearch Service 用户的重要注意事项：目前，本文中描述的 Kibana 设置更改仅限于 Cloud 控制台，如果没有我们支持团队的手动干预，则无法进行配置。我们的工程团队正在努力消除对这些设置的限制，以便我们的所有用户都可以启用内部 APM。本地部署不受此问题的影响。对于任何使用 Elasticsearch 作为搜索引擎的人来说，识别查询并排除查询故障是一项需要掌握的关键技能。
Elasticsearch索引和查询性能调优.pdf
04-25
Elasticsearch是一个强大的分布式搜索引擎，广泛应用于日志分析、实时数据分析和全文...总之，Elasticsearch的性能调优涉及硬件、软件和索引策略等多个层面，需要综合考虑并不断测试优化，以达到最佳的查询和索引效率。
Kubernetes持久化部署elasticsearch7.15.0分布式集群
02-21
原文链接：https://blog.csdn.net/m0_37814112/article/details/122965720 说明：包含elasticsearch7.15.0集群3节点、5节点、7节点等三种方式的K8S部署yaml文件、镜像文件，里面有详细的README.txt部署参考
Elasticsearch集群模式部署
06-30
学习总结资料
SpringBoot整合elasticsearch集群
01-07
8.2.8 SpringBoot整合elasticsearch集群 Spring 是最受欢迎的企业级 Java 应用程序开发框架，数以百万的来自世界各地的开发人员使用 Spring 框架来创建性能好、易于测试、可重用的代码。Spring Boot是由Pivotal团队...
Elasticsearch集群安装配置.docx
02-05
Elasticsearch集群安装配置 Elasticsearch 是一个基于 Apache Lucene 的搜索和数据分析引擎，支持实时搜索、数据分析和报表生成等功能。为了实现高可用性和高性能，Elasticsearch 集群安装配置是非常重要的。本文将...
最新版Elasticsearch调优搜索速度.pdf
09-13
Elasticsearch是非常灵活且功能丰富的搜索引擎，它提供了许多不同查询数据的方法。在实战业务场景中，经常会出现远远低于预期查询速度的慢查询。如果业务对查询延迟很敏感，Elasticsearch 查询延迟中的抖动现象就是比较困扰的一类问题。 作为分布式系统的Elasticsearch，可能有各种影响查询性能的因素。本文将分析可能导致慢查询的因素，并提供一些优化搜索速度的建议。
Elasticsearch慢查询日志配置
热门推荐
donghaixiaolongwang的博客
01-31 2万+
参看网址：https://www.elastic.co/guide/en/elasticsearch/reference/2.3/index-modules-slowlog.html 1、通过修改elasticsearch.yml来启用慢查询： vim elasticsearch.yml ###Search Slow Log ：查询慢日志配置，日志记录在以“_index_isearc
Elasticsearch 慢查询自动化巡检实践
weimob_tech的博客
05-31 545
本文主要阐述了在大批量 ES 集群下进行慢查询治理的一个方案。在自动化巡检下，发现集群查询中可以优化的内容和方向，降低排查成本。其中慢查询的判断规则和优化手段也随着慢查询治理的深入而进一步完善。在生产环境下慢查询的产生因素是复杂多样的。除了基本的profile分析，火焰图/heap dump等方式也是有效手段，在实际排查过程中也避免不了这类操作的介入。面对不同的慢查询原因，优化手段也是因地制宜，往往也是需要研发运维甚至产品等各方面同学的支持。
转-聚合查询变慢-详解Elasticsearch的Global Ordinals与High Cardinality
PacosonSWJTU的博客
02-09 612
转自： https://blog.csdn.net/zwgdft/article/details/83215977 【README】  Elasticsearch中的概念很多，本文将从笔者在实践过程中遇到的问题出发，逐步详细介绍 Global Ordinals 和 High Cardinality ，这也是笔者的认知过程。文中的Elasticsearch 版本为5.5。 背景   故事是这样的，因为业务需要，我们在项目中设计了一种针对Elasticsearch数据的异步去重方法（注：关于El.
最全面的Elasticsearch查询调优
weixin_43694201的博客
04-05 3044
将内存分配给文件系统缓存 ​ Elasticsearch严重依赖文件系统缓存来增加搜索速度，我们要尽量确保至少有一半的可用内存进入文件系统，以便Elasticsearch可以将索引的热点区域保留在屋里内存中。 使用更快的硬件。 创建合适的文档索引映射 ​ 避免连接，nested可以使查询慢几倍，父子关系可以使查询慢数百倍，我们可以尽量通过非规范化文档在不连接的情况下回答相同的问题，则可以显著的提升查询速度。 搜索尽可能搜索较少的字段 使用query_string，或者multi_ma..
Elasticsearch的TermsQuery慢查询分析和优化
hellozhxy的博客
08-02 1779
本篇文章主要记录业务上的一个TermsQuery优化和分析的过程和一些思考。在使用ES的时候，经常会遇到慢查询，这时候可以利用profile进行分析，当利用profile也查看不出什么端倪时候，可以尝试通过阅读代码查看查询为什么这么慢。如下是一个我们内部业务的一个慢查询，经常出现4s左右的延时，一模一样的查询，但是延时不一样，且很难复现。
高级调优：查找并修复 Elasticsearch 慢查询
最新发布
Angus
12-17 703
Elasticsearch 是一个非常灵活且功能丰富的应用程序，它提供了许多不同的数据查询方法。但是，您是否遇到过查询速度低于预期的情况？对于像 Elasticsearch 这样的分布式系统，可能会有各种影响查询性能的因素，包括负载平衡器设置、网络延迟（带宽、网卡/驱动程序）等在内的各种外部因素。在本篇博文中，我将讨论导致慢查询的原因，以及如何在 Elasticsearch 的上下文中识别它们。
【Elasticsearch】优秀实践-你的ES怎么查的慢了？
wudingmei1023
01-08 5535
前言 经常会有人吐槽，Elasticsearch为什么查着查着突然就慢了？ 笔者总结了常见的一些导致查询慢的场景，供大家排查。 go go go Elasticsearch查询慢问题排查思路 Elasticsearch的查询慢的问题往往是由多种因素造成的，同时我们也需要遵循Elasticsearch的查询准则：ES适合top N的查询，不适合大数据量返回的查询。 场景1 内存参数配置不合...
elasticsearch 查询_Elasticsearch高级调优方法论-搞定慢查询
05-22
Elasticsearch是一个强大的分布式搜索引擎，但是当数据量增大的时候，查询速度可能会变慢。以下是一些Elasticsearch高级调优方法： 1. 确保集群健康：检查集群健康状态，确保没有节点离线或者故障。可以通过curl...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值