elasticsearch查询索引速度慢

最新推荐文章于 2024-08-22 22:48:15 发布
最新推荐文章于 2024-08-22 22:48:15 发布
阅读量980 收藏 2
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16248977/article/details/101367050
版权

  • 现象

    • es的jvm频繁fullgc
    • 接口查询速度慢

  • 原因

    • jvm内存分配不足,通过设置-xmx和-xms来增加内存(不大于32G)
    • 单个索引的数据量过大
Childs丶
关注
专栏目录
【Elasticsearch】ES查询慢问题排查思路 profile 参数
九师兄
02-23 8286
1.概述 转载：添加链接描述 2.场景 场景1 内存参数配置不合理，文件系统缓存不足。 场景2 查询范围过大，一次查询过多的分片，如全表扫描查询。 场景3 进行深度翻页查询，如查询10000之后的结果。 场景4 查询返回的结果集过大，如10w。 场景5 查询语句不是最优，如过滤查询可以使用filter。 场景6 使用模糊匹配查询造成内存溢出的问题。 场景7 聚合查询返回的结果集过大，聚合的范围过大。 场景8 聚合查询多唯一值引起的高内存使用率。 场景9 用text字段进行排序，造成fiel
【Elasticsearch】索引和查询性能调优的21条建议-以及调优参数
九师兄
10-09 3036
转载：https://www.cnblogs.com/sanduzxcvbnm/p/12624662.html 1.Elasticsearch部署建议 1.1. 选择合理的硬件配置：尽可能使用 SSD Elasticsearch 最大的瓶颈往往是磁盘读写性能，尤其是随机读取性能。使用SSD（PCI-E接口SSD卡/SATA接口SSD盘）通常比机械硬盘（SATA盘/SAS盘）查询速度快5~10倍，写入性能提升不明显。 对于文档检索类查询性能要求较高的场景，建议考虑 SSD 作为存储，同时按照 1:10 的比.
为什么Elasticsearch查询变得这么慢了？
hellozhxy的博客
08-02 1613
让index压力分摊至多个节点：可通过index.routing.allocation.totalshardsper_node参数，强制限定一个节点上该index的shard数量，让shard尽量分配到不同节点上 综合考虑整个index的shard数量，如果shard数量（不包括副本）超过50个，就很可能引发拒绝率上升的问题，此时可考虑把该index拆分为多个独立的index，分摊数据量，同时配合routing使用，降低每个查询需要访问的shard数量。通常，当您使用搜索引擎时，您需要最准确的结果。
ES 查询比较慢的原因排查并查看ES节点状态
ajax_beijing_java的博客
09-05 2757
如果数据量过大，每次查询时需要进行大量的遍历和计算，会导致查询时间变长。可以通过对索引进行优化，如添加合适的字段映射，减少不必要的字段存储来缩短查询时间。如果索引设计不合理，也会导致查询时间变长。可以通过检查分片和副本配置、合理设置Mapping和Analazer等方式来优化索引设计。如果硬件资源不足，如CPU、内存、磁盘I/O等方面，也会影响查询性能。可以通过增加硬件资源、调整集群配置等方式来提高查询性能。如果使用的ES版本过低，可能存在一些性能问题和bug，建议升级到最新版本或稳定版本。
Elasticsearch简单介绍
最新发布
qq_41938541的博客
08-22 2099
SQL 适用于需要强一致性和复杂关系查询的场景，比如财务系统、事务型数据库。Elasticsearch 更适合大规模实时搜索、日志分析、全文检索等应用场景，具有高扩展性和近实时搜索能力。这两者可以互补使用，SQL 处理结构化数据，ES 提供搜索和分析。
查询太慢？看看ES是如何把索引的性能压榨到极致的！
xingduan5153的博客
12-17 581
欢迎关注专栏：Java架构技术进阶。里面有大量batj面试题集锦，还有各种技术分享，如有好文章也欢迎投稿哦。 上一篇文章简单地介绍过了ES的相关概念，还没看的同学快去复习下： ES是什么？看完这篇就不要再问这种低级问题了！文章的最后提到了倒排索引，不知道有没有勾起大家的好奇心，ES的索引是怎么做，为什么他会被广泛地叫做搜索引擎而不是数据库？根源在它的索引，所以这一篇带你一探究竟...
Es查询比较慢，翻页查询需要30-40秒，如何进行排查？
weixin_71921932的博客
05-08 4430
如果数据量过大，每次查询时需要进行大量的遍历和计算，会导致查询时间变长。可以通过对索引进行优化，如添加合适的字段映射，减少不必要的字段存储来缩短查询时间。如果索引设计不合理，也会导致查询时间变长。可以通过检查分片和副本配置、合理设置Mapping和Analazer等方式来优化索引设计。如果硬件资源不足，如CPU、内存、磁盘I/O等方面，也会影响查询性能。可以通过增加硬件资源、调整集群配置等方式来提高查询性能。如果使用的ES版本过低，可能存在一些性能问题和bug，建议升级到最新版本或稳定版本。
elasticsearch集群慢查询调优求援
qq_42557970的博客
08-23 569
elasticsearch集群慢查询调优求援
es 插入很慢_[Elasticsearch] 如何提高索引速度
weixin_42783709的博客
01-26 2674
问题背景上亿规模的数据做索引按照Elasticsearch默认的配置做索引的速度非常慢，时间成本比较高，如何加快建索引的速度呢？解决方法使用bulk API，调整 bulk 线程池和队列每个请求大小建议在5-15MB，逐步增大测试,当接收到EsRejectedExecutionException，就说明已经到达节点的瓶颈了，就需要减少并发或者升级硬件增加节点当写入数据时，确保bulk请求时轮询访问...
Java查询es很慢怎么办_elasticsearch索引和搜索慢问题分析解决
weixin_35680189的博客
03-02 2581
简述Elasticsearch是一个分布式的免费开源搜索和分析引擎，能够实现近实时的数据搜索。在使用的过程中，由于各种原因可能导致集群写入或者查询缓慢，本文主要讲述集中常见的原因和解决方法。写入拒绝或者慢现象当像索引(存储和使文档可被搜索)或者搜索数据的时候会出现类似如下429状态码的报错:"status": 429, "error": {"type": "es_rejected_executio...
Elasticsearch查询慢、效率低、磁盘不够用？索引生命周期管理帮您解决
Cloud Tech的博客
07-05 1354
对于时间序列数据，会随着时间的积累越来越大，您可以通过索引生命周期管理ILM（Index Lifecycle Management）定期将数据滚动到新索引，防止因数据过大影响查询效率和成本。随着索引的老化和查询频率的降低，您可以将其转移到价格较低的磁盘上，并减少分片和副本的数量。本文以管理Heartbeat数据为例，介绍通过ILM管理索引的方法。 索引生命周期管理ILM是指ES对索引进行设置、创建、打开、关闭、删除的全生命周期管理的过程。ES（6.6.0及以上版本）提供了ILM功能，将索引生命周期分为4个阶
Elasticsearch：高级调优 - 查找和修复慢速 Elasticsearch 查询
Elastic 中国社区官方博客
11-30 2852
Elasticsearch 是一个非常灵活且功能丰富的应用程序，它提供了许多不同的方式来查询你的数据。 但是你是否曾经遇到过低于你希望的查询速度？ 对于像 Elasticsearch 这样的分布式系统，可能有各种影响查询性能的因素，包括外部因素，例如负载均衡器设置、网络延迟（带宽、NIC 卡/驱动程序）等。 在本博客中，我将讨论导致查询缓慢的原因以及如何在 Elasticsearch 的上下文中识别它们。 本文源于我们一些常见的故障排除方法，这些方法可能需要人们对 Elasticsearch 的工作原理相
Elasticsearch慢查询日志配置
fanshukui的专栏
07-14 1821
参看网址：https://www.elastic.co/guide/en/elasticsearch/reference/7.4/index-modules-slowlog.html 1、通过修改elasticsearch.yml来启用慢查询： vimelasticsearch.yml ###Search Slow Log ：查询慢日志配置，日志记录在以“_index_isearch_slowlog.log”结尾的文件中 #注：配置不一定都需要，自己选择需要那种级别（warn、info、deb...
如何提高ES索引创建效率
keshixi的专栏
01-05 2428
1.JDK：1.7.0_55之后版本，55之前JDK有一些BUG会导致索引文件毁坏 2.JAVA堆配置不是越大越好，建议配置不超过物理内存的一半，其余内存留给操作系统的IO缓存管理 3.ES版本1.3.2以上 4.修改es堆内存，ES_MIN_MEM(相当于-Xms，默认256m), ES_MAX_MEM(相当于-Xmx，默认1g) 5.增加打开文件句柄数，推荐设置为32k-64k.将-
elasticsearch遇到的问题(二) 慢查询的可能原因
iris_csdn的博客
05-13 5734
1、首先确定集群的健康 1）_cat/health?v 2）检查集群健康的cpu ，io，内存，磁盘等指标是否都正常 2、慢查询可能的原因（case by case） 2.1 shards大小不合理 遇到这么一个案例： 1、客户反馈es集群存在很多慢查询，检查发现都是term查询，而且进行了sort排序，但是size是top 15，这样的查询不至于一直报慢查询。 2、继续检查日志，发现所有慢查询都是一个索引报的，也就是其他的索引的查询都是正常的 3、定位到索引后，_cat/shards/in
elasticsearch慢查询监控优化策略
qq_28429443的博客
07-23 3425
监控目标 1． 在elasticsearch配置文件上添加慢查询日志和慢索引配置 2． 使用kibana监测elasticsearch慢查询日志的生成，使用logstash抽取日志的方式，有慢查询日志生成，就以邮件告警的方式提醒。 3． 使用zabbix分别监控集群的状态、CPU、进程数、磁盘读写性能、JVM使用。同时还要监控elasticsearch中分片的状态。达到某个临界值，就以...
记一次Elasticsearch查询性能优化
热门推荐
my201110lc的博客
08-15 2万+
  背景：在数据和服务都准备完成的情况下，打开页面，发现请求需要要几秒才返回； 思路：1.查看搜索接口请求本身耗时情况，排除网络抖动因素，发现搜索接口请求到ES返回结果本身耗时较高； 2.检查每次请求到ES的入参，并在原有参数中加入"profile": true，查看ES处理搜索请求的耗时分布情况； 入参： 返回： 发现只是一个简单的termQuery耗时818ms，然后查看是...
解决es查询慢的方式
weixin_42715225的博客
03-24 4547
前言 转载: 为什么Elasticsearch查询变得这么慢了？ 如何提高elasticsearch的查询速度
java Elasticsearch composite 分页聚合查询速度慢
01-18
根据引用[1]和引用，在Elasticsearch中使用Composite聚合进行分页查询可能会导致查询速度变慢。这是因为Composite聚合需要在每个分页上执行多次查询，并且每次查询都需要重新计算聚合结果。这可能会导致性能下降。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值