全网疯传！看完就能懂！ElasticSearch-垃圾回收器优化(1)

最新推荐文章于 2024-04-07 20:23:10 发布
最新推荐文章于 2024-04-07 20:23:10 发布
阅读量433 收藏
点赞数
分类专栏： 程序员 文章标签： 后端 java 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60452169/article/details/119417827
版权
本文深入探讨了ElasticSearch集群的JVM垃圾回收问题，重点分析了ParNew+CMS垃圾回收器的工作机制。面对CPU高负载和服务超时，通过监控发现频繁的Young GC和偶尔的Old GC。文章详细解释了对象分配过程，讨论了G1收集器的优势，如内存碎片整理和可控的STW。同时，提到了Remembered Sets和Collection Set在G1中的角色，以及如何调整和优化这些参数以提升系统性能。
摘要由CSDN通过智能技术生成
  • es集群配置：16核cpu,内存64G,磁盘200G
  • JDK版本：1.8
  • 垃圾回收器： CMS+ParNew

部署在这个集群的服务偶尔会遇到服务超时的情况，从kibana监控中可以看到，服务超时情况发生时，es服务器cpu较高。es存在young gc频繁，old gc 低频率，每天约出现2-4次。

image

image

查看过去一小时的监控情况，发现young gc 比较频繁，大量对象最终进入了老年代，通过old gc被回收掉了。

image

查看GC日志,log里99%都是GC (Allocation Failure)造成的young gc。Allocation Failure表示向young generation(eden)给新对象申请空间，但是young generation(eden)剩余的合适空间不够所需的大小导致的minor gc。

image

Desired survivor size 56688640 bytes, ne
最低0.47元/天 解锁文章
m0_60452169
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
B 站， YYDS！看了这些 Java视频，我直呼好家伙！！！
【CSDN】
08-03 2219
众所周知， B 站在一般人眼中就是看看小姐姐跳舞的娱乐网站，但是，在和我一样爱学习的小伙伴眼中那就是名副其实的学习宝藏！甚至说，很多小伙伴在读研期间几乎都是通过 B 站上的免费课程进行自学的。 上次写了2021 最新的 Java 后端学习路线之后，我就一直想着要整理一份 Java 优质视频。 预告一下：最新一版更全面、内容安排更合理的 Java 后端学习路线即将到来！ 奈何熬夜多了，记性不行，一直拖到现在。直到前天晚 B 站崩了这么久，我才想起来。 于是乎，昨晚，我花了几个小时，整理了一..
真惨！连各大编程语言都摆起地摊了！
热门推荐
xuanyuan_fsx的专栏
06-10 3万+
困难年年有，今年特别多。 公司要做一个新的网站，可预算有限，听说为了生计，各大编程语言们都摆起了地摊儿，我决定去瞧瞧，看看能不能淘点做网站需要的东西。 选择静态web服务器 一进集市，这烟火气就扑面而来，平时一个个端着架子的C++、Java、Python居然能放下身段，招呼叫卖，我还是头一回见。 “老哥，需要来点什么？”，C语言给我打起了招呼。 “我想要建个网站”，我回答到。 “那你可算来对地方了”，C语言摊主起身说到，“建网站总得需要一个Web服务器吧，你看这里，apacheweb服务器，卖的可好了”
elasticsearch了解垃圾收集器
我不想说
05-16 865
了解垃圾收集器 由于ElasticSearch是基于Java语言的应用，所以它必须运行在Java虚拟机上。任何Java程序都被编译成字节码，然后才能运行在JVM上。用最常规的方式思考，可以想象JVM只是执行其它的程序，并且控制程序的行为。但是除非你是在为ElasticSearch开发新的插件(这部分的内容将在第9章 开发ElasticSearch插件中论述)，否则这不是你关注的重点。你需要关注的
Elasticsearch中关于JVM和垃圾回收的介绍
lucasma的博客
12-23 1099
关于堆内存大小的设置 ES官方建议JVM中设置的最大堆内存大小，不超过节点RAM的一半，最大不超过32GB,并且Xms和Xmx相等。我们一个个说明。 首先为啥建议Xms和Xmx相等，这其实是个约定的配置了。并不仅限于ES，很多基于JAVA的服务在生产环境中都是建议这个配置。核心的原因在于减少JVM的时间开销，因为当Xms不够用时，JVM会继续想OS申请内存，这必然会带来额外的时间开销。如果你预测你的应用最终差不多用到Xmx，把这两个值设置成一样是个比较好的选择。 不超过系统RAM的一半，这个主要是出于文件系
Elasticsearch垃圾回收日志
wbiblem的博客
05-09 904
Elasticsearch介绍Elasticsearch是构建在Java之上的、开源的、分布式搜索和分析引擎，因此JVM的性能对Elasticsearch性能至关重要。在负载超出节点所能承受的情况下，JVM垃圾内存回收的“Stop-The-World”会造成节点被踢出Elasticsearch集群。如果只是偶尔发生，Elasticsearch的冗余设计可以克服（如: Replica # = 1）。但
elasticsearch实战-使用G1垃圾回收
donlian的专栏
09-28 596
Java的垃圾回收真是让人又恨又爱。当今大内存已经成为服务器的趋势，使用CMS垃圾回收有点捉襟见肘。为何要使用g1垃圾回收，我想用过es的人都会很清楚。下面我就介绍一下在elasticsearch中，如何使用G1垃圾回收。 首先找到es的配置文件。elasticsearch.in.sh，这个文件在es的bin目录下面。 然后找到配置垃圾回收的配置。 # Force the JVM to ...
看完就能懂！ElasticSearch-垃圾回收器优化
最新发布
2401_83412172的博客
04-07 1035
这样，等真的沉下心来学习，不至于被找资料分散了心神。另外，给大家安排了一波学习面试资料：以上就是本文的全部内容，希望对大家的面试有所帮助，祝大家早日升职加薪迎娶白富美走上人生巅峰！《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！早日升职加薪迎娶白富美走上人生巅峰！《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！
Java学习专栏！全网最牛！
weixin_70730532的博客
08-12 2600
00254:《SpringCloud Alibaba微服务实战十四 - SpringCloud Gateway集成Oauth2.0》00242:《SpringCloud Alibaba微服务实战二十四 - SpringCloud Gateway的全局异常处理》00251:《SpringCloud Alibaba微服务实战十五 - SpringCloud 容器化部署》00248:《SpringCloud Alibaba微服务实战十八 - Oauth2.0 自定义授权模式》00184:《TCP网络那点破事！..
【2022版】Golang面试题目全网超全超详细的口语化解答总结
一年之内毫无半点成绩，想起来做人真是没趣。
06-10 9214
GO语言面试题目总结，站在巨人的肩膀上吧，也有自己的分析。有相关的题目。
关于ES集群频繁GC问题
qq_37490756的博客
06-28 3815
首先，作为一个JAVA应用，就脱离不开JVM和GC，因为应用层面生成大量长生命周期的对象，是给heap造成压力的主要原因，例如读取一大片数据在内存中进行排序，或者在heap内部建cache缓存大量数据。 其次，ES集群底层存储引擎是基于Lucene的，而Lucene的倒排索引(Inverted Index)是先在内存里生成，然后定期以段文件(segment file)的形式刷到磁盘的。每个段实际就是一个完整的倒排索引，并且一旦写到磁盘上就不会做修改。 API层面的文档更新和删除实际上是增量写入的一种特..
JVM的四种垃圾回收算法和七种垃圾收集器
Be_insighted的博客
09-19 1025
JDK1.8 垃圾回收算法发展历程 标记-清理 ——> 复制算法 ——> 标记-整理 ——> 分代收集 垃圾回收算法 标记-清理 标记-清除算法 老年代回收垃圾算法，分为标记和清除两个阶段，先标记出所有需要回收的对象，标记完成后统一回收所有被标记的对象。 缺点：标记和清除两个过程效率都不高；标记清除之后会产生大量不连续的内存碎片。 为了解决标记清除算法内存碎片化严重的缺陷，提出了复制算法。 复制算法 复制算法 将可用的内存分成两份，每次使用其中一...
总结篇-最全面的G1YGC源码流程梳理及技术细节剖析
qq_47815451的博客
12-14 1178
一文搞懂，用三万五千字根据书籍及大佬博客总结出的G1YGC实现流程及技术细节剖析
亿级规模的Elasticsearch优化实战
weixin_45583158的博客
08-13 1670
本文根据王卫华老师在“高可用架构”微信群所做的《Elasticsearch实战经验分享》整理而成，转发请注明出处。王卫华，百姓网资深开发工程师、架构师，具有10年＋互联网...
JVM参数
08-15 212
1. -XX:+PrintGCTimeStamps 几乎所有的资料上说到打印JVM GC log的时候都会推荐一个参数： -XX:+PrintGCTimeStamps， 可该选项打印的是JVM以启动时间为基准的相对时间，对于troubleshooting来说非常困难。早在07年的时候就有人提出来并且早已fix，用法是使用 PrintGCDateStamps 代替PrintGCTimeStamps...
JVM 调优 —— 新生代 Survivor 空间不足
wenniuwuren
03-14 1万+
零. 新生代调优规律 增大新生代空间， Minor GC 频率减少， Minor GC 时间上升。 减少新生代空间， Minor GC 频率上升， Minor GC 时间下降 一. 新生代典型问题 先看一段 GC 日志：新生代使用 ParNew， 老年代使用 CMS  {Heap before GC invocations=0 (full 0): par new gene
Elasticsearch干货（九）：Elasticsearch崩溃风险
桃花惜春风
09-25 4220
我们在使用Elasticsearch时应该选择性的避免一些可能导致集群变慢甚至崩溃的操作，这是非常必要的。 通配符 我们在查询时，或多或少可能会用到通配符（比如：*）来进行查询操作。但是一个通配符下对应的往往是非常大的数据集，这种情况下，很容易导致集群变慢。所以我们在使用通配符时一定要注意，通配符下的数据集是否过大。 对于分词字段聚合查询 我们一定要避免对分词字段的聚合操作，尤其是类似cont...
elasticsearch走过的一些坑
gtsina的专栏
01-18 2253
Elasticsearch默认安装后设置的内存是1GB，对于任何一个现实业务来说，这个设置都太小了。如果你正在使用这个默认堆内存配置，你的集群配置可能会很快发生问题。   这里有两种方式修改Elasticsearch的堆内存（下面就说内存好了），最简单的一个方法就是指定ES_HEAP_SIZE环境变量。服务进程在启动时候会读取这个变量，并相应的设置堆的大小。设置命令如下： export ES
Elasticsearch亿级数据检索性能优化实践
Elasticsearch亿级数据检索性能优化案例实战！ 本篇文章主要讲述了Elasticsearch亿级数据检索性能优化的实战经验，涵盖了ES的基础结构、Lucene索引实现、优化策略等方面的知识点。 一、ES基础结构 ES的基础结构...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值