运维记录--K8S中java程序频繁死掉killed

最新推荐文章于 2023-08-30 09:20:09 发布
最新推荐文章于 2023-08-30 09:20:09 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： 运维记录 文章标签： 运维 java docker
小啊宇~！
本文链接：https://blog.csdn.net/weixin_46152207/article/details/120946691
版权
运维过程中遇到K8S中的Java程序无规律地被killed，检查nginx日志、数据库均未发现异常。通过观察节点资源、Docker日志，发现因过多的连接导致容器被kill。清理Docker无用资源，解决了问题，避免了Java服务被频繁终止，使平台恢复正常运行。
摘要由CSDN通过智能技术生成

上周上线完之后，平台频繁出现问题，从服务器查看pod状态为Running
但是从日志中查看就是直接被killed
检查过nginx日志、数据库等未发现异常

在这里插入图片描述

由上图可以看出最后直接就是被killed

下意识的我会以为是程序运行超过了所指定的Xmx参数，但是平台运行的情况我还是了解的，之前即便访问量大的是的也是个别服务或者数据库压力大，不会导致这两天无规律性质的死掉服务，几乎什么服务都可能会进行被killed
我尝试调整过启动脚本Xmx参数 但是没用，一样还是会被killed

之前也处理过关于pod启动异常的问题，然后我去检查各个节点运行资源情况：

free -h   #查看运行内存
df -h    #查看磁盘空间
top     #查看CPU
了解本专栏 订阅专栏 解锁全文 超级会员免费看
互联网-小阿宇
关注
专栏目录
订阅专栏
云原生之K8S------k8s资源限制及探针检查
m0_54594153的博客
11-08 1380
健康检查又称为探针,是由kubelet对容器的定期诊断。探针分为3种判断容器是否正常运行，如果失败则杀掉容器（不是pod），再根据重启策略是否重新启动容器判断容器是否能够进入ready状态，探针失败则进入noready状态，并从service的endpoints中剔除此容器判断容器内的应用是否启动成功，在success状态之前，其他探针都处于无效状态。
你见过java程序自毁(kill)吗？我踩过
BASK2311的博客
02-28 1922
在线音乐戳我呀！音乐博客源码上线啦！之前专栏奔向Linux、Docker前几篇讲了Docker的安装部署，操作算是比较简单。你见过java程序自毁（kill）吗？我遇到过。今天，兴致勃勃想登陆在线音乐听听周董的《稻香》，结果，发现请求音乐接口失败（音乐博客是由java服务提供的第三方服务），于是马上进入服务器看下日志，进行了排查之路。接下来将分享如何在服务器排查java服务无缘无故被kill掉的问题，这个问题非常有意思，主要是很难排查，自己被kill掉，一五一十盘出。
K8S为何杀死我的应用
jdk2010的博客
10-25 467
首发公众号:二进制社区,转载联系:binary0101@126.com导读"K8S为我们提供自动部署调度应用的能力，并通过健康检查接口自动重启失败的应用，确保服务的可用性，但这种自动运维在某些特殊情况下会造成我们的应用陷入持续的调度过程导致业务受损，本文就生产线上一个核心的平台应用被K8S频繁重启调度问题展开剖解，抽丝剥茧一步步从系统到应用的展开分析，最后定位到代码层面解决问题"现象 在搭建devops基础设施后,业务已经全盘容器化部署,并基于k8s实现自动调度,但个别业务运行一段时间后会被k8s自动重
java jar killed_我的Java应用程序被OOMKilled了，原因竟是这样？
weixin_35747785的博客
03-03 793
在AWS云上，我们运行并部署容器化应用程序到我们的PaaS管道。像我们这样在Docker中运行Java应用程序的人，可能已经遇到过 **JVM在容器中运行时无法准确检测可用内存的问题 **。jvm没有准确地检测Docker容器中可用的内存，而是查看机器的可用内存。这可能导致在容器内运行的应用程序在尝试使用超出Docker容器限制的内存量时被终止的情况。JVM对可用内存的错误检测与Linux too...
Java程序运行在Linux系统上使用jmter压测时被系统killed
nisemono_ct的博客
01-22 837
 最近使用的springboot搭建的java系统，打成jar部署到Linux后。自己想测试一下并发情况，于是用了jmter进行了压测。因为为了省钱redis和mysql，jvm全运行在一台服务器上，压测的过程中java程序很快就被killed了，偶尔也会出现mysql挂掉，重启mysql出现Can’t connect to local MySQL server through socket ‘/...
Jenkins安装包，可直接使用 java -jar jenkins.war --httpPort=8080启动
04-11
Jenkins安装包，可直接使用 java -jar jenkins.war --httpPort=8080启动
Process-prevent-killed:防止进程被杀死的某种方法
05-15
将程序的流程修改为系统流程 原理和代码很简单，它可以防止Taskmgr杀死进程 仅在XP中有效。防止杀戮受限，不能保护冰剑 挂钩NtQuerySystemInformation 将NtQuerySystemInformation钩到隐藏的进程（3级环） 它可以...
【docker-ce】k8s集群docker容器异常重启问题分析
didi_cloud的博客
07-21 2645
背景目前机器学习平台后端采用k8s架构进行GPU和CPU资源的调度和容器编排。k8s的核心能力是容器编排，容器服务的稳定运行直接关系到整体平台的稳定性。春节值班期间，机器学习平台实验环境-隔离环境 vgpu资源出现比较多的用户容器异常退出问题。此问题导致Pod中的用户容器发生重建，一些用户在容器运行时环境的数据会丢失，由于平台具有暂存用户异常容器现场的能力，值班同学可以通过恢复用户异常容器现场来恢...
K8S容器OOM killed排查
bruce128的专栏
08-30 2142
docker耗用完内存前，堆内存并没有达到上限，于是没有触发老年代GC，内存没有降下去。如果容器OOM killed，容器里的jvm进程没有Full GC，那么肯定是MaxRAMPercentage参数太高，导致堆内存没有用到上限，无法触发堆内存（老年代）GC。当实例内存超过95%时，对比top显示的的jvm进程内存和ps stats输出的docker实例内存信息，其余进程耗用的内存忽略不计。遂将内存增加到4GB。4 由于堆内存没有的到达上限，但是整个jvm进程内存超出了容器的内存限制。
K8S在部署应用时，总提示OOMkilled
冰川的博客
08-14 1568
问题原因： Linux内核限制过线 解决方法 cat /etc/sysctl.conf修改内核参数 下班先写到这，有空再补
容器服务日志中显示killed
WinkingJay的博客
12-02 481
服务日志中显示killed
java进程被kill_定位JAVA进程被kill的原因
weixin_34217656的博客
03-02 1971
哪些原因可能会导致JAVA进程被kill呢？Java应用程序的问题：发生OOM导致进程CrashJVM自身故障：JVM或JDK自身的Bug导致进程Crash被操作系统OOM-Killer该如何去排查问题呢？Java应用程序的问题：发生OOM导致进程Crash这种情况主要取决于研发代码质量，我遇到过的大概有2次。一般情况下，出现OOM异常，JVM的GC会进行回收，是不会直接导致JVM进程退出的。如果...
k8s pod OOMKilled 错误原因
小罗的博客
03-24 1万+
k8s oomkilled 错误原因：容器使用的内存资源超过了限制。只要节点有足够的内存资源，那容器就可以使用超过其申请的内存，但是不允许容器使用超过其限制的资源。 在yaml文件的resources.limits.memory 下定义了容器使用的内存限制，如果容器中的进程使用内存超过这个限制，就会出现oomkilled错误，容器被终止。 resources: limits: cpu: '8' memory: 32Gi 解决办法：1.优化程序，使之使用内存大小在范围内 2.修改.
java jar killed_容器中Java 程序OOMKilled原因浅析
weixin_39922147的博客
03-03 373
背景：业务的容器化刚刚搞完，线上开始告警，容器重启，容器重启。describe pod 查看原因是OOMKilled分析：OOMKilled 是pod 中的进程使用的内存超过了.spec.containers[*].resources.limits.memory中定义的内存限制，在超出限制后， kubernetes 会向容器中的进程(pid=1)发送kill -9 信号。kill -9 信号对于进...
定位JAVA进程被kill的原因
vision583934061的博客
03-07 2028
哪些原因可能会导致JAVA进程被kill呢？ Java应用程序的问题：发生OOM导致进程Crash JVM自身故障：JVM或JDK自身的Bug导致进程Crash 被操作系统OOM-Killer 该如何去排查问题呢？ Java应用程序的问题：发生OOM导致进程Crash 这种情况主要取决于研发代码质量，我遇到过的大概有2次。一般情况下，出现OOM异常，JVM的GC会进行回收，是不会直接导致JVM进程退出的。如果出现退出的情况，那就是内存泄漏，由于内存占用越来越大，结果。。
内存 解决k8s集群环境内存不足导致容器被kill问题
小楼一夜听春雨，深巷明朝卖杏花
10-29 3162
最近线上环境上出现了一个问题， k8s集群环境Pod中的tomcat容器运行一段时间后直接被killd，但有时一切看起来正常，不能准确判断在什么时机出现被Killd问题。 本文就此问题介绍了Linux内存不足原因以及为什么特定进程会被杀死。并提供了Kubernetes集群环境故障排除指南教程。 tomcat进程被杀死原因分析 当这个应用程序被kill问题进行故障排除时，很大程度上确定是操作系统杀死的， 因为整个过程确认没有进行kill操作。当我查看tomcat日志时发现，tomcat只是简单的提示
K8s实战小技巧——该如何查看pod崩溃前的日志
热门推荐
LoveSummer
06-01 5万+
并且是链接文件，链接到docker的容器的日志文件，同时kubelet还会保留上一个容器，同时有一个链接文件链接到pod上一个崩溃的容器的日志文件，使用previous就是查看的这个文件。看到分别指向了这两个容器的日志文件，一个是当前pod里在跑的容器，一个是pod上次跑的容器，现在已经退出了。下的日志文件，且专门有个链接文件来指向上一个退出容器的日志文件，以此来获取容器崩溃前的日志。的时候，读的是上次退出的容器的日志文件，由于kubelet为pod保留了上次退出的容器。代表是第2394次重启后的日志。
Collecting package metadata (repodata.json): - Killed
最新发布
12-12
当出现"Collecting package metadata (repodata.json): - Killed"的错误时，这通常是由于内存不足导致的。这个问题可以通过以下几种方法来解决： 1. 增加内存：如果你的机器内存较小，可以考虑增加内存。这将有助于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

互联网-小阿宇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值