背景:
电脑已经在跑一个训练了,这时候在趁着训练时间还久就先在网站上学机器学习、跑点小测试,结果在运行小测试的时候出现了如下报错:
RuntimeError: DataLoader worker (pid(s) 17076, 16280, 14024, 2348) exited unexpectedly
原因:
代码中的配置要求DATa Loader使用多线程操作,而如果已经存在了多线程操作,或者程序中存在其他有些问题的多线程操作时,有可能会导致 线程套线程 的情况,从而容易出现程序被死锁的现象
解决:
方法一:另num_workers = 0
直接将函数DATa Loader中对应参数num_workers的配置部分注释掉,不对数据加载通道的数量进行要求。
程序可以顺利运行了
意外情况: 电脑并没有同时跑多个程序,但还是报错线程问题,于是采用了下述方法:
方法二:
由于是方法学习,参考来源是通过jupyter notebook来写的,代码完整性和封装性的缺陷会在pycharm中暴露。
所以最简单的应对方法就是 将需要执行的函数放在if main中执行,避免多个多进程同时运行。
可以正常运行了:
原理
其实不是很明白,后续懂了再加吧
补充: 一个疑惑
我的代码里只有一个print,并且还在if main外面,为什么执行if main的时候这个print会被执行5次呢?
后续又试了一下主函数不执行多线程
这么一看,应该是因为多进程会导致前面的内容被多次执行了,有并行操作。还是要注意好封装吧