ES性能优化

已于 2022-10-18 20:59:40 修改
阅读量261 收藏
点赞数
分类专栏： es 文章标签： elasticsearch 大数据 搜索引擎
于 2020-12-24 16:43:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xx897115293/article/details/111639188
版权

查第一条很慢，后面就快了

    缓存预热

给ES设置的内存太小

    给ES分配的内存一般要大于数据量的一半
    写入ES的数据最好小于等于或者是略大于ES的filesystem cache的内存容量

复杂查询性能低

    尽量不要做复杂查询

深度分页和跳页查询很慢

    根据ES搜索原理可知，深度分页和跳页查询执行的操作太多，故而很慢
    scroll api，一页一页的往下翻
    search_after，一页一页的往下翻

小熊123～
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Elasticsearch的性能优化
01-27
Elasticsearch（后文简称ES）的基础是Lucene，所有的索引和文档数据是存储在本地的磁盘中，具体的路径可在 ES的配置文件../config/elasticsearch.yml中配置，如下：磁盘涉及到IO的读写速度问题，因此如果条件允许的条件下，尽可能使用 SSD硬盘和高配置的CPU。IO的提升，会极大改进ES的速度和性能。磁盘备份采用RAID0。因为Elasticsearch在自身层面通过副本，已经提供了备份的功能，所以不需要利用
Elasticsearch 启动预热
kamactor的专栏
09-28 1711
https://www.elastic.co/guide/en/elasticsearch/reference/7.x/preload-data-to-file-system-cache.html
互联网大厂技术-elasticsearch(es)- 在数据量很大的情况下（数十亿级别）提高查询效率
码者人生的技术博客
07-22 1825
这个问题是肯定要问的，说白了，就是看你有没有实际干过 es，因为啥？其实 es 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下 5~10s，坑爹了。第一次搜索的时候，是 5~10s，后面反而就快了，可能就几百毫秒。你就很懵，每个用户第一次访问都会比较慢，比较卡么？所以你要是没玩儿过 es，或者就是自己玩玩儿 demo，被问到这个问题容易懵逼，显示出你对 es 确实玩儿的不怎么样？
Elasticsearch进阶（一）写入性能基准测试写入性能优化
03-01
进入正题之前，解决之前的一个疑问：Elasticsearch集群是否已经正确工作？截图时，只上传过一次小测试数据（143万条），设置为：从图中可以看出，ip10节点上设置的数据目录：data1和data2目录工作正常，但是数据相同ip12中数据与ip10中数据不同，但是data1与data2数据相同ip13数据与ip12相同ip11既不是master候选者，也不是data节点，验证发现确实无数据分配多个分片和副本是分布式搜索功能设计的精髓系统：macOS10.13.4处理器：2.3GhzInterCorei5内存：8GB2133MHzLPDDR3SSDs注：jamesjxin在博客中说到：确保
优化Elasticsearch查询性能
01-27
Elasticsearch严重依赖于文件系统缓存，以便快速进行搜索。通常应该确保至少有一半的可用内存进入文件系统缓存，以便Elasticsearch可以将索引的热区域保留在物理内存中。 如果搜索受I/O限制，应该调查为文件系统缓存提供更多内存（参见上文）或购买更快的驱动器。特别是已知SSD驱动器比旋转磁盘性能更好。 始终使用本地存储，应避免使用NFS或SMB等远程文件系统。还要注意虚拟化存储，例如亚马逊的El
记一次线上偶发慢查排查过程_es资源初始化耗时
༺ bestcxx的专栏 ༻
07-29 679
问题排查
ES新老数据查询速率差异问题探析
大数据，Linux，服务器，技术、架构，方案
07-17 383
Segments（段）：ES将索引划分为多个段，每个段包含部分文档。当新文档被添加到索引中时，ES会创建新的段。老数据存在于旧的段中，而新数据存在于新的段中。查询旧数据比查询新数据快是因为旧的段被更频繁地访问和缓存，而新的段可能还没有被完全加载或缓存，导致查询速度较慢。Merge（合并）操作：ES的合并操作会将多个段合并为一个更大的段，以优化查询性能。当有新文档被索引时，ES需要执行合并操作来压缩段数量。
Elasticsearch如何提升查询效率
weixin_41011482的博客
06-23 2474
分析 面试官问这个问题，一般就是向要考校你是否真的用过Elasticsearch分布式搜索引擎，对于查询效率的优化有没有真正的应用场景。 es这个东西，真正来说并没有想象中那么牛逼。很多时候数据量太大的话，特别是如果有几亿条数据，搜索效率是很低的，第一次跑的时候你会发现在5-10秒之间，至于为什么第一次跑会这么久呢，下面会给你答案。 我们要知道，对于一些现在运用的大部分主流技术，对于性能优化基本都是没有什么银弹的（指优化某一点就可以得到大的提升），不要期待随便修改一个参数配置之类的，就可以天下无敌。也许某个
ElasticSearch
w_k_x110的博客
07-26 1435
【ElasticSearch】持续更新...
elasticsearch 查询_Elasticsearch高级调优方法论-搞定慢查询
weixin_39854951的博客
11-30 619
前言elasticsearch提供了非常灵活的搜索条件给我们使用，在使用复杂表达式的同时，如果使用不当，可能也会为我们带来了潜在的风险，因为影响查询性能的因素很多很多，这篇笔记主要记录一下慢查询可能的原因，及其优化的方向。本文讨论的es版本为7.0+。慢查询现象查询服务超时最直观的现象就是提供查询的服务响应超时。大量连接被拒绝我们有时候写查询，为了图方遍，经常使用通配符*来查询，这有可能会匹配到多...
ElasticSearch性能优化策略
08-18
ElasticSearch性能优化策略
elasticsearch有默认内容搜索长度，有请求延迟，以及分页查询的个人总结
qq_48804275的博客
05-23 587
elasticsearch的默认内容搜索长度 springboot版本2.2.5，elasticsearch7.6版本 对elasticsearch数据进行全局搜索，我没设置查询的大小，但是默认数据只有十条，下边是没有设置检索长度的代码。请指教！ 有的业务场景希望把所有数据查出来，且不分页，解决办法就是设置检索长度(这里一般都是结合分页搜索，如果不分页，直接输入查询长度，最大为10000) elasticsearch的请求延迟 业务场景，在添加了一条数据后需要马上调用了查询接口，查询刚才添加的数据
ElasticSearch第一讲：ElasticSearch从入门到精通
Jet_qi的博客
11-12 1323
ES构建于Lucene之上，近实时搜索、分析文档，并且支持结构化、非结构化文档结构化：有固定的数据格式、以及长度，通常见于数据库非结构化：数据结构不固定，不定长ES具有分布式、高可用、可伸缩的特性支持更快的检索性能。
Elasticsearch（ES）底层写流程,包含查询性能高的原因(秒级处理)，近实时（Near RunTime）特性
CSDNwangshaopeng的博客
08-07 753
整体流程介绍 首先客户端发一个请求，要写数据（增删改），数据是存在索引index中的，索引分成若干个分片（shard）,不管是主分片还是副分片，都是存在硬盘上的，落实成文件，这是必然流程，一定是这样的，但是要做写操作的时候，往硬盘里面写数据，是I/O操作，重量级操作，很慢，不符合ES的近实时（NRT,Near RunTime）特性,无论是写还是查，1秒内返回。要是使用I/O流，未必能达到1秒返回。 默认 ES会在内存里面开一个缓存，缓存的大小无限制，但里面只存1秒的数据，记录完一秒的数据，下一秒重新开一个.
Elasticsearch （优化）内存设置
weixin_45417821的博客
06-04 1946
内存设置 ES 默认安装后设置的内存是 1GB，对于任何一个现实业务来说，这个设置都太小了。 如果是通过解压安装的 ES，则在 ES 安装文件中包含一个 jvm.option 文件，添加如下命令来设置 ES 的堆大小，Xms 表示堆的初始大小，Xmx 表示可分配的最大内存，都是 1GB。 确保 Xmx 和 Xms 的大小是相同的，其目的是为了能够在 Java 垃圾回收机制清理完堆区后不需要重新分隔计算堆区的大小而浪费资源，可以减轻伸缩堆大小带来的压力。 假设你有一个 64G 内存的机器，按照正常思维思考，你
ES为什么限制内存小于32G，为什么小于系统内容的50%
goodtimeflying的博客
04-16 2455
ES为什么内存最好小于32G ES是用java开发的 java32位虚拟机的寻址最大4G，64位理论上来说无限大，请参考java Object的header结构。 但是实际上64位的地址指针会导致一下问题: 增加了GC开销：64位对象引用需要占用更多的堆空间，留给其他数据的空间将会减少， 从而加快了GC的发生，更频繁的进行GC。 降低CPU缓存命中率：64位对象引用增大了，CPU能缓存的oop将会更少，从而降低了CPU缓存的效率。 指针压缩技术可以解决这个问题，请参考 JAVA指针压缩的实现原理 指针压缩
ES 性能调优，这可能是全网最详细的 Elasticsearch 性能调优指南
热门推荐
Elastic开源社区
04-11 2万+
Elasticsearch 读写性能调优 ES 架构和Mapping优化
es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？
weixin_33869377的博客
03-25 750
2019独角兽企业重金招聘Python工程师标准>>> ...
ES性能优化最佳实践- 检索性能提升30倍！
最新发布
Angus
10-26 90万+
虽然Elasticsearch是一款强大的搜索引擎技术，但在超大规模数据检索中，尤其是在处理大量检索关键词（150个以上）、对多个字段执行检索并使用脚本排序时，可能会面临严重的性能问题。 在我们实际的业务中，检索的时间可能到达300秒，无法满足实时交互需求。本文带你打开一个新思路。在未添加任何资源的情况下，我把性能提升了30倍，请求时间控制在10s内。多数请求能在3秒5秒内完成。一起来看看我是如何做到的叭。
Elasticsearch性能优化
05-25
以下是一些 Elasticsearch 性能优化的建议： 1. 确保 Elasticsearch 集群的硬件资源充足。例如，CPU、内存、磁盘空间等。可以使用 Elasticsearch 的监控工具来监测集群资源的使用情况，以便及时进行扩容。 2. 对于...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值