ES集群在FullGC过大时的排查思路

最新推荐文章于 2024-06-02 19:42:40 发布
最新推荐文章于 2024-06-02 19:42:40 发布
阅读量376 收藏 1
点赞数
文章标签： elasticsearch 大数据 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Z_Flank/article/details/129220856
版权

本身查询qps很大，这个从慢日志上确实不太好找了，如果您遇到这类fielddata突增的情况可以通过这个命令判断一下是什么字段导致的fielddata突增

GET _cat/fielddata?v&s=size:desc

以及可以用这个命令定位一下具体是哪个索引导致的fielddata突增

GET _cat/indices?v&h=index,fielddata.memory_size&s=fielddata.memory_size:desc

然后针对该索引手动清理一下缓存即可

POST /索引名/_cache/clear?fielddata=true

fielddata突增的话，可以参考如下：

如何快速定位并解决fielddata内存使用率高的问题_检索分析服务Elasticsearch版-阿里云帮助中心

瞬间动力
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Elasticsearch GC 时间过长的解决方法
weixin_30357231的博客
10-22 2742
前言：GC 时间过长是个常见的问题，下文我将对应的现象和解决方案进行阐述。为什么这么解决，可以参考我的另外一个博客中的内存使用和GC指标这个章节 我们有时会发现elasticsearch集群挂掉，或者有点数据节点脱离集群，这里有可能是GC方面的原因，实质是内存的原因。 一、日志表现 [2017-06-22 23:56:51,008][WARN ][monitor.jvm ...
es7学习笔记 cpu负载不均衡、超长fullGC、大量400报错
stay foolish
07-22 787
ElasticSearch负载不均衡 现象：往es7集群中推数时，发生如下情况 接口出现很多400 发现集群中某台机器cpu被怼爆 发生fullGC 产生400报错的原因是es7做了熔断优化，当jvm内存使用超过阈值，为了避免丑陋的oom，会直接限流并抛出EsRejectedExecutionException。 我们强硬的关掉了这个配置，因为我们的推数有失败重试。 产生fullGC是因为一个bulk批处理的数据量太大，我们一个文档1.5M，800个文档作为一批，两个线程并行推，jvm内
一次频繁Full GC的排查过程
热门推荐
沈鸿斌的博客
10-03 1万+
问题描述最近公司的线上监控系统给我推送了一些kafka lag持续增长的消息，我上生产环境去看了相应的consumer的情况，发现几台机器虽然还在处理消息，但是速度明显慢了很多。问题猜测与验证我猜测是JVM频繁做Full GC，导致进程也跟着频繁卡顿，处理消息的速度自然就慢了。为了验证这个想法，先用jstat看看内存使用情况： jstat -gcutil 1 1000 #1是进程号 结果如我所
记一次排查线上频繁FullGC 过程
shixiaoling123的博客
06-06 546
记一次排查线上频繁FullGC 过程一、一段艰辛的排查过程1.突发告警1.1 新生代老年代情况：1.2 老年代GC情况2.紧急处理3.问题定位3.1 dump文件过大：3.2 如何分析：3.3 排查原因3.4 水落石出4.修复上线二、收获 一、一段艰辛的排查过程 记录一次生产环境频繁FullGC的排查过程，艰辛但收获满满； 1.突发告警 这是一个风和日丽的下午，已经疲惫不堪的我正日常码代码，突然收到JVM监控告警，进入监控大盘查看JVM情况： 1.1 新生代老年代情况： 图片截了一张最简化的出来，因为公司
关于ES集群频繁GC问题
qq_37490756的博客
06-28 3717
首先，作为一个JAVA应用，就脱离不开JVM和GC，因为应用层面生成大量长生命周期的对象，是给heap造成压力的主要原因，例如读取一大片数据在内存中进行排序，或者在heap内部建cache缓存大量数据。 其次，ES集群底层存储引擎是基于Lucene的，而Lucene的倒排索引(Inverted Index)是先在内存里生成，然后定期以段文件(segment file)的形式刷到磁盘的。每个段实际就是一个完整的倒排索引，并且一旦写到磁盘上就不会做修改。 API层面的文档更新和删除实际上是增量写入的一种特..
full gc频繁的分析及解决案例
phantomes的专栏
05-25 2509
原位置： http://www.2cto.com/kf/201604/499063.html
Kubernetes持久化部署elasticsearch7.15.0分布式集群
02-21
原文链接：https://blog.csdn.net/m0_37814112/article/details/122965720 说明：包含elasticsearch7.15.0集群3节点、5节点、7节点等三种方式的K8S部署yaml文件、镜像文件，里面有详细的README.txt部署参考
SpringBoot整合elasticsearch集群
01-07
8.2.8 SpringBoot整合elasticsearch集群 Spring 是最受欢迎的企业级 Java 应用程序开发框架，数以百万的来自世界各地的开发人员使用 Spring 框架来创建性能好、易于测试、可重用的代码。Spring Boot是由Pivotal团队...
Elasticsearch集群模式部署
06-30
学习总结资料
一键部署elasticsearch集群/单机版shell脚本(适用于Centos7 x86服务器)
04-21
该安装包实现利用给定参数安装单机版或者集群版es数据库，指定参数后安装过程全自动，自动修改系统内核，配置jdk，自动识别并配置内存，自动根据节点数配置集群脑溢节点配置数。涉及到以下操作 1、自动检测配置java...
elasticsearch集群搭建
01-07
elasticsearch集群 @Author:By Runsen 本文准备搭建三节点 elasticsearch集群，elasticsearch版本：6.5.4，因此这里准备了三台 Linux CentOS 7机器，只需要简单通过Vmware克隆两台CentOS 7机器，并分别设置静态ip...
full gc频繁有什么问题_ES频繁GC问题一例
weixin_29894211的博客
01-14 1956
收到ES的告警，在1小时内意外分配了碎片，从而导致集群状态 Green > Yellow > Red > Yellow > Green 频繁切换？在此期间，ES不可访问，并且调用API开始返回非200的状态码。环境3个主节点和3个工作节点。错误分析GC锯尺图这种锯尺模式的原因是，ELasticsearch在执行某些操作搜索查询，写入查询，刷新，刷新操作等，频繁的创建新对象，...
FULL GC隐患排查 优化
森林里的一天
03-16 353
    最近其它业务线反馈统一的国际化方案容易导致FULL GC，先简单说一下国际化方案：实现了一个filter，过滤所有的http请求，将请求头信息所带的语言环境存储到session里面，然后重新实现了response，对于文案统一采用编码的防范，response输出的时候将编码根据语言环境进行替换。    这里会有一个问题，如果是请求量比较大的应用，由于session的生命周期缘故，可能会导致...
记一次full gc耗时且频繁的故障定位
程序猿的樊笼
04-24 9133
背景 事情最初是LZ这边用jersey提供的客户端API封装了一个rest客户端集成到业务系统A中，结果某次系统A在线上运行时崩了，分析线程栈的dump文件时，发现是因为大量线程阻塞拖跨了应用。 线程阻塞的原因是因为jersey的方法内部存在同步操作，遇到流量陡增并且机器资源也比较紧张时对CPU调度产生了影响，导致线程阻塞耗时久，请求处理慢。恶性循环下，导致线程爆了。 于是对封装的rest客...
让WSL内核使用BBR拥塞控制算法
Double Galaxy
05-27 118
使用git命令从Linux内核的Git仓库中获取源代码，$ git clone https://github.com/microsoft/WSL2-Linux-Kernel.git，找到对应的内核版本$ git log --grep="5.15.146.1-microsoft-standard-WSL2"，回退到本机安装的内核版本$ git checkout 在配置中搜索TCP_CONG_BBR，确保该选项被设置为y（表示编译进内核）或m（表示编译为模块）。需要事先安装好依赖的工具。
LeetCode17电话号码的字母组合
最新发布
JELEE
06-02 225
给定一个仅包含数字 2-9 的字符串，返回所有它能表示的字母组合。答案可以按 任意顺序 返回。给出数字到字母的映射如下（与电话按键相同）。注意 1 不对应任何字母。
es索引的性能优化配置
赵成默
05-29 220
查看所有模板，如果数据量多的话，可以进行纵向分表，例如按照日期将索引分开，然后通过建模板，配置索引的参数。设置索引每个节点最大的分片数:规则下面的数要大于分片数（包括副本）/集群集群节点数。配置分片数:一般来说内存每G最多20个，每个分片数据大概在20G到50G。查看unassigned的原因，通过查看原因也能得到问题的解决方案。配置副本数:一般1就行，需要更高的可靠性可以设置为3。GET _template/模板名称。刷盘时间，数据实时性的延迟。
城市之旅：使用 LLM 和 Elasticsearch 简化地理空间搜索（一）
Elastic 中国社区官方博客
05-30 918
探索如何从自然语言提问创建地理空间搜索。在下面的示例中，我们将演示一个请求在地铁站或兴趣点周围一定半径内的 Airbnb 房源列表的问题。你可以将这一日常用例扩展到其他地理空间搜索，例如在指定区域内寻找餐馆、景点、学校和其他地方。我们提供了一本，它将引导你完成设置数据集、将它们导入 Elasticsearch 以及设置生成式 AI 和 LLM 部分的过程。我们还会展示如何使用 Elasticsearch 进行地理空间搜索以及如何结合这两者。
Elasticsearch入门：初识分布式搜索引擎
Dxy1239310216的博客
05-31 367
Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。通过以上步骤，你将能够初步掌握Elasticsearch的基本知识和使用方法，为进一步深入学习和应用Elasticsearch打下坚实的基础。：首先，你需要下载并安装Elasticsearch。：Elasticsearch支持全文搜索，包括关键词搜索、短语搜索、模糊搜索等，满足各种复杂的搜索需求。：Elasticsearch可以作为网站搜索引擎，提供快速、准确的搜索服务，提升用户体验。
elasticsearch 集群规模，什么配置算大型集群
06-09
Elasticsearch 集群规模的大小是相对的，适合一个团队或组织的集群大小可能对另一个团队或组织来说过于小或过于大。因此，定义一个“大型集群”需要考虑多种因素，例如数据量、查询吞吐量、硬件资源等等。 一般来说...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

瞬间动力

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值