运行python程序时中途出现killed

已于 2024-05-04 08:41:09 修改
阅读量962 收藏 3
点赞数 4
分类专栏： 深度学习填坑笔记 文章标签： 计算机视觉 人工智能 batch 目标检测 ubuntu
于 2024-05-04 08:37:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_58815430/article/details/138434137
版权

运行Hybridnets的val.py的出现killed

在这里插入图片描述

记录一下跑深度学习第一次碰到内存不足的情况（以往out of memery都是out的显存）
情况是这样的，我跑Hybridnets的源码的时候总是只能训练一轮，在跑验证集的时候就被killed了，我的batchsize和numworkers都改到1了，用watch -n 1 nvidia-smi监控显存的使用情况发现显存完全够用，确认不是显存的原因，于是直接下载了别人的weight拿来evaluation，结果是也被killed了，问题确实出现在模型评价阶段。

使用命令dmesg | tail -7找到kill的报错信息[5566089.647485] Memory cgroup out of memory: Killed process 1921139 (python) total-vm:57435468kB, anon-rss:28811464kB, file-rss:68356kB, shmem-rss:391176kB, UID:1000 pgtables:64812kB oom_score_adj:0这表示内存溢出。

使用watch -n 1 free -h监控内存占用情况，发现进程被kill之前内存占用确实不断上升直到溢出。
在这里插入图片描述

换了一个内存大的机器，看了一下内存占用情况发现峰值达到了120G，不过这里numworks是4，换成1的话也得30G以上的内存。
在这里插入图片描述

解决方案

先记录一下问题，目前解决方案是直接换机器，但感觉应该是代码写的有问题，同样是同时完成检测任务和分割任务的YOLOPX在evaluation的时候就没出现进程被killed的问题。
之后有时间再详细看下能不能从代码层面解决问题……

柠檬水(●ˇ∀ˇ●)
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux训练python出现killed_再用 python 处理文件的时候 程序运行过程中被 killed
weixin_39633954的博客
12-05 1030
情境描述要处理一个目录下所有的的日志文件 xxx.log(每个文件大概13G)，过程是这样的：检索每行中是否包含 'xx-Obsever' 和 '大主宰' 这两个词，如果包含，则看这一行是否有'xx-Observer,[(.*)],recv',正则里小括号中的内容是我想要的 id，如果匹配到，则取出id，然后利用这个id去检索 xxx.log 文件中所有含有 [id] 的日志并输出到 xxx.lo...
linux训练python出现killed_ubuntu上pythongzip出现“killed”错误
weixin_35975406的博客
02-07 1132
我在运行python脚本时遇到了一个致命错误。我会发布下面的代码。我的第一个调试步骤是查看/var/log/syslog文件，以查看是否报告了任何内存问题，但是我找不到与终止事件相关的任何内容。所以我使用python-m trace--trace标志再次运行代码。这清楚地指向了gzip库，就像最后几行一样...gzip.py(271): self.offset += sizegzi...
Linux下Python程序Killed，分析其原因
热门推荐
dta0502的博客
08-24 4万+
查看日志 cd /var/log/ 下面是我的log目录下的文件： 其中syslog中就是最新的日志信息。 直接查找错误 egrep -i 'killed process' /var/log/syslog # 或： egrep -i -r 'killed process' /var/log 这个命令把最近的killed process信息都输出了，如下图所示： 参...
Out of memory: Kill process 解决
pansaky的博客
02-17 2万+
Linux有一个特性：OOM Killer，一个保护机制，用于避免在内存不足的时候不至于出现严重问题，把一些无关的进程优先杀掉，即在内存严重不足时，系统为了继续运转，内核会挑选一个进程，将其杀掉，以释放内存，缓解内存不足情况，不过这种保护是有限的，不能完全的保护进程的运行。 在很多情况下，经常会看到还有剩余内存时，oom-killer依旧把进程杀死了，现象是在/var/log/messages日...
【python项目】查看系统日志（如 /var/log/syslog 或 dmesg）以获取被killed的详细原因。
最新发布
TaoLinna的博客
07-06 465
查看linux系统日志获取程序被killed原因
【python项目被killed】
TaoLinna的博客
04-22 457
最近在运行项目时，出现程序被killed。
python 处理文件的时候 程序运行过程中被 killed
legalhighhigh的博客
10-15 7020
小量数据测试时没问题，数据量到几百万时killed 怀疑内存使用问题： 代码 for line in file.readlines(): 改成： for line in open("file","r") 下面这种不用一次性把数据读到内存。 ...
Linux下python执行Killed
我的博客
10-21 2863
当系统资源不足时，Linux 内核也可以决定终止一个或多个进程。一个非常常见的例子是内存不足 (OOM) killer，会在系统的物理内存耗尽时触发。
python 进程(池)、线程(池)
weixin_41817636的博客
09-24 265
进程、多进程、进程池 进程总概述 进程 from multiprocessing import Process import os # 子进程要执行的代码 def run_proc(name): print('Run child process %s (%s)...' % (name, os.getpid())) if __name__=='__main__': print('Parent process %s.' % os.getpid(
杀死python进程
Eric_LH的博客专栏
05-17 1499
pkill -9 python
spark集群运行python程序_如何在spark作业中运行python脚本？
weixin_39525307的博客
12-05 956
我使用tar文件方法在3台机器上设置了spark.我没有做任何高级配置,我编辑了slaves文件并启动了master和worker.我能在8080端口看到sparkUI.现在我想在spark集群上运行简单的python脚本.import sysfrom random import randomfrom operator import addfrom pyspark import SparkCont...
linux训练python出现killed_Ubuntu16.4系统下为Python配置caffe环境
weixin_42329480的博客
02-07 444
一、环境准备Linux: ubuntu-16.04-desktop-amd64CUDA:cuda-repo-ubuntu1504-7-5-local_7.5-18_amd64.deb二、安装步骤1.安装必要的环境sudo apt-get update #更新软件列表sudo apt-get upgrade #更新软件sudo apt-get install build-essential #安装b...
python出现killed
03-25
如果在Python中出现"killed"的错误，可能是因为程序消耗了过多的内存或CPU资源，导致操作系统将其强制终止。这通常发生在运行大型或复杂的程序时。 为了解决这个问题，你可以尝试以下方法： 1. 优化你的程序，减少...
【TensorFlow】【点云分割】PointSIFT代码运行（运行时出现killed，进程自动被杀死）（已解决）
marsh_zy的博客
09-22 928
这是一篇记录复现pointsift的文章。 论文全称：A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation 会议名称：Computer Vision and Pattern Recognition (CVPR) 2018 项目地址：https://github.com/MVIG-SJTU/pointSIFT 2020.9.22 01. 环境配置 1. CUDA 10.0, cuDNN（检查了一下竟然没装。。。）
redis集群故障排查:kernel: Memory cgroup out of memory: Kill process 46773 (redis-server)
d495435207的博客
09-04 589
Memory cgroup out of memory: Kill process 46773 (redis-server)
linux程序提示killed的原因
Castlehe的博客
02-15 4万+
训练一个神经网络的时候，中途出现Killed，然后程序就被终止了。 因为以前遇到过这个问题，所以知道是因为内存不足所以系统将程序终止了。 不过这次想认真看一下系统日志，看一下内存等的消耗状况，然后再考虑解决方案。 1. 查看Killed对应的日志 1.1 触发Killed常见原因 当系统资源不足时，Linux 内核也可以决定终止一个或多个进程。 一个非常常见的例子是内存不足 (OOM) killer，会在系统的物理内存耗尽时触发。 当内存不足时，内核会将相关信息记录到内核日志缓冲区中，该缓冲区可通过
python2执行程序内存溢出导致被killed的问题因果分析
ningyanggege的博客
05-15 3113
问题来源： 执行一段程序，对某个函数重复执行，当执行到一半时，就显示被killed，重复几次均如此。为什么会这样呢？ 第一步、定位被killed的根本原图； 使用vi /var/log/messages查看日志。日志显示，是由于内存溢出导致的。 第二步、定位内存溢出的原因： 在主要的函数的前面加入@profile，用于显示每行代码的内存使用情况。 通过输出显示，该函数的内存一直在增长。 第三、第一种假设，会不会是某某变量没有释放导致内存一直在增加。 深入分析发现，并不存在这种情...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值