记录学习CNN过程中遇到的错误

文章讲述了在训练过程中遇到的DataLoaderworker异常退出的问题,原因是多线程可能导致线程套线程和死锁。解决方案包括设置num_workers=0或使用ifmain限制函数执行,以避免并行操作导致的重复执行。
摘要由CSDN通过智能技术生成

背景:

电脑已经在跑一个训练了,这时候在趁着训练时间还久就先在网站上学机器学习、跑点小测试,结果在运行小测试的时候出现了如下报错:

RuntimeError: DataLoader worker (pid(s) 17076, 16280, 14024, 2348) exited unexpectedly

在这里插入图片描述

原因:

代码中的配置要求DATa Loader使用多线程操作,而如果已经存在了多线程操作,或者程序中存在其他有些问题的多线程操作时,有可能会导致 线程套线程 的情况,从而容易出现程序被死锁的现象

解决:

方法一:另num_workers = 0

直接将函数DATa Loader中对应参数num_workers的配置部分注释掉,不对数据加载通道的数量进行要求。

在这里插入图片描述
程序可以顺利运行了

意外情况: 电脑并没有同时跑多个程序,但还是报错线程问题,于是采用了下述方法:

方法二:

由于是方法学习,参考来源是通过jupyter notebook来写的,代码完整性和封装性的缺陷会在pycharm中暴露。
所以最简单的应对方法就是 将需要执行的函数放在if main中执行,避免多个多进程同时运行。
在这里插入图片描述
可以正常运行了:
在这里插入图片描述

原理

其实不是很明白,后续懂了再加吧

补充: 一个疑惑

我的代码里只有一个print,并且还在if main外面,为什么执行if main的时候这个print会被执行5次呢?
在这里插入图片描述
后续又试了一下主函数不执行多线程
在这里插入图片描述
这么一看,应该是因为多进程会导致前面的内容被多次执行了,有并行操作。还是要注意好封装吧

  • 8
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值