记一次Elasticsearch查询性能优化

最新推荐文章于 2024-08-19 08:36:18 发布
最新推荐文章于 2024-08-19 08:36:18 发布
阅读量2.4w 收藏 53
点赞数 8
分类专栏： lucene ES
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/my201110lc/article/details/81712183
版权

 

背景：在数据和服务都准备完成的情况下，打开页面，发现请求需要要几秒才返回；

思路：1.查看搜索接口请求本身耗时情况，排除网络抖动因素，发现搜索接口请求到ES返回结果本身耗时较高；

2.检查每次请求到ES的入参，并在原有参数中加入"profile": true，查看ES处理搜索请求的耗时分布情况；
入参：

返回：

发现只是一个简单的termQuery耗时818ms，然后查看是否ES集群负载情况；
3.初步定位：ES集群的c

最低0.47元/天 解锁文章
李灿的博客
关注
专栏目录
【Elasticsearch】ES Elasticsearch查询优化
九师兄
02-23 2362
文章目录1.概述1.前言2 合理的集群规划3 数据模型优化3.1 精心设计Mapping3.2 选择合理的分词器4 查询限制5 段合并（segment merge）6 过滤查询（filter）7 路由（routing）8 配置Client角色9 游标查询（scroll）10 避免使用wildcard模糊匹配查询11 聚合优化11.1 默认深度优化聚合改为广度优先聚合11.2 在每一层terms aggregation内部加一个增加："execution_hint": "map" 1.概述 转载
【Elasticsearch】Elasticsearch的IndexSorting:一种查询性能优化利器
九师兄
05-25 566
前两周写过一篇《基于Lucene查询原理分析Elasticsearch的性能》，在最后留了一个彩蛋，说下一篇会介绍一种可以极大的优化查询性能的技术。本文就来介绍这种技术——IndexSorting。因为IndexSorting是在ES6.0之后才作为实验性的功能加入，相关的介绍资料还比较少，所以大部分人对它不够了解。另一方面是，想要理解它为什么能够优化性能、适合哪些场景、内部如何实现、有何副作用等，也需要花一翻功夫。所以本文专门对IndexSorting进行一个介绍，并分析它的作用、实现、适用场景等。
Elasticsearch的TermsQuery慢查询分析和优化
hellozhxy的博客
08-02 2202
本篇文章主要记录业务上的一个TermsQuery优化和分析的过程和一些思考。在使用ES的时候，经常会遇到慢查询，这时候可以利用profile进行分析，当利用profile也查看不出什么端倪时候，可以尝试通过阅读代码查看查询为什么这么慢。如下是一个我们内部业务的一个慢查询，经常出现4s左右的延时，一模一样的查询，但是延时不一样，且很难复现。
elasticsearch慢查询监控优化策略
qq_28429443的博客
07-23 3425
监控目标 1． 在elasticsearch配置文件上添加慢查询日志和慢索引配置 2． 使用kibana监测elasticsearch慢查询日志的生成，使用logstash抽取日志的方式，有慢查询日志生成，就以邮件告警的方式提醒。 3． 使用zabbix分别监控集群的状态、CPU、进程数、磁盘读写性能、JVM使用。同时还要监控elasticsearch中分片的状态。达到某个临界值，就以...
【搜索分析引擎】Elasticsearch
最新发布
在这里你大概率会有所收获，欢迎指错||纠正||建议||水评+点赞&&评论&&关注&&转发
08-19 2147
Elasticsearch（简称ES）是一个分布式、可扩展、实时的搜索与数据分析引擎，它基于Apache Lucene构建，提供了全文搜索、结构化搜索、数据分析、复杂的语言处理、地理位置和对象间关联关系等多种功能。
【ElasticSearch】查询优化
weixin_30553777的博客
05-20 155
一、背景 每周统计接口耗时，发现耗时较长的前几个接口tp5个9都超过了1000ms。 经过分析慢查询的原因是ES查询耗时太长导致的 二、设计方案 1、问题定位 查询功能使用不当导致慢查询 索引设计存在不合理的地方，导致慢查询 2、方案概述 2.1、查询Fetch Source优化 问题 业务查询语句获取的数据集比较大，并且从source中获取了非必须的字段，导致...
Elasticsearch搜索速度的优化
qq_27639777的博客
05-17 1240
文章目录为文件系统cache预留足够的内存使用更快的硬件文档模型预索引数据字段映射避免使用脚本优化日期搜索为只读索引执行force-merge预热全局序号（global ordinals）execution hint预热文件系统cache转换查询表达式调节搜索请求中的batched_reduce_size使用近似聚合深度优先还是广度优先限制搜索请求的分片数利用自适应副本选择（ARS）提升ES响应速度 为文件系统cache预留足够的内存 在一般情况下，应用程序的读写都会被操作系统“cache”（除了direc
Elasticsearch的搜索引擎优化与SEO
程序员光剑
01-21 895
1.背景介绍 Elasticsearch是一个分布式、实时的搜索引擎，它可以处理大量数据并提供快速、准确的搜索结果。在现代网站和应用程序中，搜索功能是非常重要的，因为它可以帮助用户快速找到所需的信息。因此，优化Elasticsearch的搜索引擎性能和SEO(搜索引擎优化)是非常重要的。 在本文中，我们将讨论Elasticsearch的搜索引擎优化与SEO，包括背景介绍、核心概念与联系、核心算...
es查询大文本效率_Elasticsearch 技术分析（七）： Elasticsearch 的性能优化
weixin_39672296的博客
12-20 446
javajava8java开发Elasticsearch 技术分析(七)： Elasticsearch 的性能优化 硬件选择Elasticsearch(后文简称 ES)的基础是 Lucene，所有的索引和文档数据是存储在本地的磁盘中，具体的路径可在 ES 的配置文件../config/elasticsearch.yml中配置，如下：# --------------------...
【Elasticsearch】索引和查询性能调优的21条建议-以及调优参数
九师兄
10-09 3032
转载：https://www.cnblogs.com/sanduzxcvbnm/p/12624662.html 1.Elasticsearch部署建议 1.1. 选择合理的硬件配置：尽可能使用 SSD Elasticsearch 最大的瓶颈往往是磁盘读写性能，尤其是随机读取性能。使用SSD（PCI-E接口SSD卡/SATA接口SSD盘）通常比机械硬盘（SATA盘/SAS盘）查询速度快5~10倍，写入性能提升不明显。 对于文档检索类查询性能要求较高的场景，建议考虑 SSD 作为存储，同时按照 1:10 的比.
记一次 Java 服务性能优化
m0_67322837的博客
08-10 415
近两周的排查和梳理中，发现并解决了多个性能瓶颈，修改了系统熔断方案，最终实现了服务能处理的 QPS 翻倍，能实现在极高 QPS（3-4倍）压力下服务正常熔断，且能在压力降低后迅速恢复正常，以下是部分问题的排查和解决过程。答案就是会使用上面的那段”奇怪”代码，先创建一个空的 ApiContext 类，并将所有的传入参数依次尝试 set 进这个类，如果 set 失败了，就 catch 住异常继续执行，而 set 成功后，就完成了 ApiContext 类内一个属性的参数绑定。...
死磕elasticsearch（七）搜索速度优化
u012133048的博客
06-24 3478
文章目录1 为文件系统cache预留足够的内存2 使用更快的硬件3 文档模型4 预索引数据5 避免使用脚本6 优化日期搜索7 为只读索引执行force-merge8 预热文件系统cache9 调节搜索请求中的batched_reduce_size10 利用自适应副本选择（ARS）提升ES响应速 度 1 为文件系统cache预留足够的内存     在一般情况下，应用程序的读写都会被操作系统“cach...
ElasticSearch 并发操作问题
牧心人的专栏
03-19 3679
解决并发问题 https://www.elastic.co/guide/cn/elasticsearch/guide/current/concurrency-solutions.html 问题的原因是 Elasticsearch 不支持 ACID 事务。 对单个文件的变更是 ACIDic 的，但包含多个文档的变更不支持。 如果你的主要数据存储是关系数据库，并且 Elasticsearch 仅仅作...
Elasticsearch 写入和查询优化底层原理
zhangCheng的博客
06-12 739
一、Elasticsearch 写入原理 二、es 写入涉及到的概念 三、写入的特性 优化方案一: 优化方案二: 五、es优化1、写优化： 2、读优化
ElasticSearch进阶：多种查询操作，各种ES查询以及在Java中的实现
w3133089132的博客
08-13 2117
ElasticSearch基础：从倒排索引说起，快速认知ES这篇博文的主题是ES的查询，因此我整理了尽可能齐全的ES查询场景，形成下面的图：本文基于elasticsearch 7.13.2版本，es从7.0以后，发生了很大的更新。7.3以后，已经不推荐使用这个client，取而代之的是。
Elasticsearch 性能调优指南
qq_35067694的博客
08-04 3438
​ es的默认配置是一个非常合理的默认配置，绝大多数情况下是不需要修改的，如果不理解某项配置的含义，没有经过验证就贸然修改默认配置，可能造成严重的后果。比如max_result_window这个设置，默认值是1W，这个设置是分页数据每页最大返回的数据量，冒然修改为较大值会导致OOM。ES没有银弹，不可能通过修改某个配置从而大幅提升ES的性能，通常出厂配置里大部分设置已经是最优配置，只有少数和具体的业务相关的设置，事先无法给出最好的默认配置，这些可能是需要我们手动去设置的。
ES7.17版本terms查询性能问题
qq_33999844的博客
09-23 2187
ES迭代过程支持了越来越多特性与优化，版本升级显得十分必要。测试又很难覆盖所有场景，灰度升级过程中难免遇到一些问题，这里主要分析terms查询的一个性能损失问题。
Elasticsearch：调整搜索速度
Elastic 中国社区官方博客
03-13 2029
​ 在我之前的文章 “Elasticsearch：如何提高查询性能” 及 “Elasticsearch：提升 Elasticsearch 性能” 里，我详细描述了如何提高搜索的性能。在今天的文章里，我从另外一个视角来描述如何调整搜索的速度。希望对大家有所帮助。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值