阿里云K8s容器Pod中Java进程CPU占比100%排查(线上JVM排查之一)

置顶 已于 2022-09-16 10:03:31 修改
阅读量4.1k 收藏 4
点赞数 1
分类专栏： 线上排障 JVM 文章标签： java 阿里云 开发语言
于 2022-08-17 22:24:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/21aspnet/article/details/126395329
版权
本文讲述了在阿里云Kubernetes环境中，一个基于SpringBoot的Java服务Pod在重启后出现CPU占用100%的问题。通过检查CPU核数、容器内Java进程、线程堆栈分析以及火焰图，发现ARMS监控探针存在多线程处理不当导致CPU飙高的问题。后续已将问题反馈给阿里云。
摘要由CSDN通过智能技术生成

线上Java基于SpringBoot框架的服务一共4个POD节点，其中有一个节点重启之后CPU占比100%。

系统整体基于阿里云K8s部署，接入了阿里云的ARMS监控。

1.发现CPU占比100%的节点 

从上图看出这个pod只有1核，实际上这个pod是部署在node上，node是32核心的。是设置了pod的limit=1。

查看CPU核数

#cat /proc/cpuinfo 

2.到容器里看Java进程CPU占比 

#top一看确实是java 占用CPU100%

 3.分析Java的线程堆栈信息

这一步是确定影响性能的线程在做什么

#top -Hp 7

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度Java
关注
专栏目录
订阅专栏
【K8S系列】Pod重启策略及重启可能原因
颜淡慕潇
01-30 1万+
1 重启策略 1.1Always Pod中的容器，不管因为什么原因停止，都会自动重启。 该为默认策略， 没有定义重启策略时，默认的就是always 1.2OnFailure Pod中的容器，非正常停止/异常退出时，会自动重启容器，如果是正常停止，则不会 1.3Nerver Pod中容器不管以什么原因退出，都不会自动重启容器 自动重启的可能原因： 1.Xms超出了k8s分配 2.docker容器的内存限制 3.出现OOMKilled事件
利用阿里云ARMS排查Java大量文件处理场景堆外内存溢出(线上JVM排障之八)
无界编程
09-03 2321
线上一个项目线上3节点POD，内存一点点爬升最后100%打满，然后就会触发K8s的驱逐机制，重启。然后内存又是一点点的爬升周而复始，系统完全不可用。
Node.js-获取并观察KubernetesPod资源CPU内存的利用率
08-09
获取并观察Kubernetes Pod资源（CPU，内存）的利用率
k8s 查看cpu使用率最高的pod
最新发布
u010674101的专栏
10-31 1279
在 Kubernetes 中，可以使用命令查看 Pod 的资源使用情况，从而找到 CPU 使用率最高的 Pod。
kubectl top查看k8s pod的cpu , memory使用率情况
热门推荐
weixin_33845881的博客
12-13 3万+
To see the pods that use the most cpu and memory you can use the kubectl top command but it doesn’t sort yet and is also missing the quota limits and requests per pod. You only see the current usage: ...
error: Metrics API not available 查看k8s中pod的cpu，memory的使用率情况
专注运维自动化
10-10 3410
error: Metrics API not available
k8s排查Java应用CPU负载过高问题
sinat_31632437的博客
01-10 3192
jvm
JVM常见线上问题 → CPU 100%、内存泄露 问题排查
代码界的扛把子
04-14 1087
前言 后文会从 Windows、Linux 两个系统来做示例展示，有人会有疑问了：为什么要说Windows版的 ？ 目前市面上还是有很多 Windows 服务器的，应用于传统行业、政府结构、医疗行业 等等；两个系统下的情况都演示下，有备无患 后文中用到了两个工具：Processor Explorer、MAT，它们是什么，有什么用，怎么用，本文不做介绍 cpu 100% 下面的示例中， cpu 的占有率没到 100%，只是比较高，但是排查方式是一样的，希望大家不要钻牛角尖 Windows 1、..
记一次k8s pod频繁重启的优化之旅
l081499的博客
09-24 2556
1.背景 最近有运维反馈某个微服务频繁重启，客户映像特别不好，需要我们尽快看一下。 听他说完我立马到监控平台去看这个服务的运行情况，确实重启了很多次。对于技术人员来说，这既是压力也是动力，大多数时候我们都是沉浸在单调的业务开发中，对自我的提升有限，久而久之可能会陷入一种舒适区，遇到这种救火案例一时间会有点无所适从，但是没关系，毕竟… “我只是收了火，但没有熄炉”，借用电影中的一句话表达一下此时的心情。 2.初看日志 我当即就看这个服务的运行日志，里面有大量的oom异常，如下： org.springframe
【K8s】- 查看某台宿主机的负载和运行的 pods
欢迎来到我的博客，一起探索代码里的世界！
02-22 698
举例：$ kubectl describe node cn-beijing.127.11.1.125。命令：$ kubectl describe node 宿主机英文名称。
k8s-自动横向伸缩pod 根据CPU使用率，QPS访问数监控指标
sinat_28371057的博客
10-31 3323
k8s-自动横向伸缩pod 与节点 简述 我们可以通过调高ReplicationController、 ReplicaSet、 Deployment等可伸缩资源的rep让cas字段， 来手动实现pod中应用的横向扩容。 我们也可以通过增加pod容器的资源请求和限制来纵向扩容pod (尽管目前该操作只能在pod创建时， 而非运行时进行）。 虽然如果你能预先知道负载何时会飘升， 或者如果负载的变化是较长时间内逐渐发生的， 手动扩容也是可以接受的， 但指望靠人工干预来处理突发而不可预测的流量增长， 仍然不..
java进程cpu只能用到一核100%，k8s环境
进击的小白
03-18 2309
查看cpu信息为4核8逻辑的cpu 最近发现在k8s容器中的java项目，压测时cpu只能到100% 后台发现是因为k8s配置中限制了cpu的使用量，因为是共享使用，所以一般只占用1核，通过发布多个pod进行占用资源。 spec: containers: - image: xxx name: k8s-server resources: limits: ...
K8S 集群JAVA应用 开启JMX远程监控
weixin_47738823的博客
12-14 664
K8S JMX远程监控
Prometheus监控k8s中pod的JVM与服务的自动发现
著名艺术家
09-08 4711
prometheus监控k8s中微服务JVM与服务的自动发现
【精品】kubernetes（K8S）集群top命令监控 Pod 度量指标
Friendsofthewind的博客
11-21 2010
找出标签是name=cpu-user的Pod，并过滤出使用CPU最高的Pod，然后把它的名字写在已经存在的/opt/cordon.txt文件里。
Kubernetes实战(三)-k8s节点设置cpu高于多少就不调度
sre救赎之路
10-15 1733
一般情况下，k8s节点的CPU调度限制默认为100%，而实际调度节点的CPU利用率一般不会超过80%左右，因此，合理的CPU限制数值应该小于80%。进入k8s dashboard，选择Pods - Nodes选项卡，在Nodes列表中选择需要验证的Node，在该Node的Details选项中找到Allocated Resources的CPU信息，可以看到该节点的CPU利用率是否达到了限制值。3）修改配置参数--cpu-limit-percent的数值，将其设置为一个合理的值；4）保存并退出文件。
干货篇 | 当CPU使用率达到100%该怎么办？
s_alted的博客
07-08 2563
不知道大家有没有遇到过服务器的CPU使用率达到了100%的情况，在实际生产环境中如果遇到了这种情况我们该怎么办？ 接下来我就跟大家探讨一下：当CPU的使用率达到了100%的时候我们该如何排查、定位、找出问题根源。 CPU使用率 Linux作为一个多任务操作系统，将每个CPU的时间划分为很短的时间片，然后在通过调度器轮流分配给各个任务使用，因此造成多任务同时进行的错觉。 CPU使用率：就是CPU处在非空闲状态的时间占总CPU时间的百分比 而CPU使用率中也有很多相关的重要指标，我们可以通过 top 命令简单列
k8s_示例_根据CPU使用率自动扩展Pod数量并使Pod分布在不同节点
纵歌的博客
06-12 1643
k8s_示例_根据CPU使用率自动扩展Pod数量并使Pod分布在不同节点
java线上排查jvm
09-12
对于线上排查Java JVM性能问题，可以采用以下步骤： 1. 首先，通过查找CPU飙高的Java进程，确定具体出现问题的JVM进程。因为服务器上可能存在多个JVM进程。 2. 然后，使用JVM自带的性能调优工具，如jps、jstack、jmap等，来监控和分析JVM的性能状况。比如，jps可以列出所有正在运行的Java进程，jstack可以获取Java进程的线程堆栈信息，jmap可以生成Java堆内存的快照等。 3. 通过分析线程堆栈信息，找到可能存在问题的代码。可以根据线程堆栈中的异常信息、死锁等来定位问题所在。 4. 对问题代码进行排查和优化。可以根据具体情况使用不同的方法，例如使用性能分析工具、代码重构、内存优化等。 综上所述，通过以上步骤，可以对Java线上的JVM性能问题进行排查和解决。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值