【Error】pytorch训练网络时报错：RuntimeError: received 0 items of ancdata

最新推荐文章于 2023-12-05 15:47:18 发布
最新推荐文章于 2023-12-05 15:47:18 发布
阅读量3.7k 收藏 9
点赞数 6
分类专栏： Error记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chen1234520nnn/article/details/103935825
版权

pytorch训练网络时报错：RuntimeError: received 0 items of ancdata

错误的原因：dataloader加载数据时，pytorch多线程共享tensor是通过打开文件的方式实现的，而打开文件的数量是有限制的，当需共享的tensor超过open files限制时，即会出现该错误。

解决方案：

1）修改多线程的tensor方式为file_system（默认方式为file_descriptor，受限于open files数量）：

#训练python脚本中import torch后，加上下面这句。 
torch.multiprocessing.set_sharing_strategy('file_system')

官方问题链接：

https://github.com/pytorch/pytorch/issues/973

超级无敌陈大佬的跟班
关注
  • 6
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
linux或windows环境下pytorch的安装与检查验证(解决runtimeerror问题)
09-14
主要介绍了linux或windows环境下pytorch的安装与检查验证(解决runtimeerror问题),需要的朋友可以参考下
编译DCNv2网络：error: command 'C:\\Program Files\\NVIDIAGPUComputingToolkit\\CUDA\\v1
11-20
编译DCNv2网络：error: command 'C:\\Program Files\\NVIDIAGPUComputingToolkit\\CUDA\\v10.0\\bin\\nvcc.exe'
pytorch错误：RuntimeError: received 0 items of ancdata解决
weixin_45950422的博客
12-05 366
【代码】pytorch错误：RuntimeError: received 0 items of ancdata解决。
Pytorch Lightning 跑一半断掉，报错RuntimeError: received 0 items of ancdata
weixin_48383130的博客
11-16 143
在linux服务器上跑pytorch ligtning代码，跑到第四个epoch突然断掉，报错RuntimeError: received 0 items of ancdata，再跑一直跑不起来，一直报错RuntimeError: received 0 items of ancdata。最大线程为32，就设置为了32，设置过大，改小num_woker就跑起来了。
解决Pytorch 加载训练好的模型 遇到的error问题
12-23
这是一个非常愚蠢的错误 debug的时候要好好看error信息 提醒自己切记好好对待error！切记！切记！ ———————–分割线—————- pytorch 已经非常友好了 保存模型和加载模型都只需要一条简单的命令 #保存整个网络和参数 torch.save(your_net, 'save_name.pkl') #加载保存的模型 net = torch.load('save_name.pkl') 因为我比较懒我就想直接把整个网络都保存下来，然后在test文件中直接load一下不就好了？ 就遭受了这样的错误。看错了error信息，把‘Net’看成‘net’。报错没有属性‘net’？这个不
【Pytorch错误】RuntimeError: received 0 items of ancdata
weixin_43019673的博客
01-06 3145
版权声明：本文为转载，出处： pytorch错误：RuntimeError: received 0 items of ancdata解决 - 碧水青山 - 博客园 1. 错误说明 RuntimeError: received 0 items of ancdata 是在dataloader加载数据时出现的错误 2. 原因 pytorch多线程共享tensor是通过打开文件的方式实现的，而打开文件的数量是有限制的。 通过ulimit -a查看，当需共享的tensor超过open files限制时，即会出现该错误
已解决RuntimeError: received 0 items of ancdata
03-28 6万+
您遇到的 “RuntimeError: received 0 items of ancdata” 错误通常发生在使用套接字（socket）传递文件描述符时。
遇到：RuntimeError: An attempt has been made to start a new process before the current pr 错误应该如何解决
抓饭不吃皮牙子
08-07 5831
​ 方法等待新进程完成。最后，我们输出"新进程已完成"。请注意，这只是一个简单的示例代码，你需要根据你实际使用的编程语言和相关库进行修改和扩展。确保在程序中正确处理和调度进程，以确保顺序和正确的进程间通信。在这个示例中，我们创建了一个主进程，然后在主进程中启动一个新的子进程。在主进程中，我们输出"主进程已启动"，然后创建一个新的 ​。所以示例代码的内容将取决于你具体使用的编程语言和相关库。​​ 对象，并指定要执行的函数为 ​。​​ 方法启动新进程，并使用 ​。
pytorch训练网络时报错：RuntimeError: received 0 items of ancdata
qq_40723205的博客
08-08 398
错误的原因：dataloader加载数据时，pytorch多线程共享tensor是通过打开文件的方式实现的，而打开文件的数量是有限制的，当需共享的tensor超过open files限制时，即会出现该错误。原文链接：https://blog.csdn.net/chen1234520nnn/article/details/103935825。
已解决RuntimeError: An attempt has been made to start a new process before the current process has fi
热门推荐
03-28 6万+
这个错误通常是由于在程序启动阶段尝试启动新的进程引起的。
pytorch-music-composer:游戏音乐训练
03-11
pytorch音乐作曲家 神经音乐作曲家 受启发 感谢 数据集和MIDI播放器 我已经在我的云上共享资源。 目前正在开发中...
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码： with torch.no_grad(): # 停止自动反向计算梯度 参考： https://wisdomai.xyz/tool/pytorch/archives/2301 https://ptorch.com/news/160.html 作者：菜叶儿掉啦
anaconda安装pytorch时报错PackagesNotFoundError: The following packages are not available from current cha
12-22
在anaconda 安装pytorch的时候报错： PackagesNotFoundError: The following packages are not available from current channels: 原因是因为我将安装源设置为清华镜像，而在2019年4月份anaconda的清华镜像不能用了：    所以我们需要手动下载whl文件：可以从下面的文章中直接下载，也可以去pytorch官网下载。 https://blog.csdn.net/qq_27009517/article/details/81484662 下载完成后，在conda里执行： pip install
60道关于Redis的常见面试题.pdf
04-18
- 1. 什么是 Redis？它的主要特点是什么？ - 2. Redis 支持哪些数据结构？请详细描述每种数据结构的用途和特点。 - 3. 什么是缓存穿透？在使用 Redis 时，如何防止缓存穿透？ - 4. 介绍 Redis 的持久化机制以及对比它们之间的区别。 - 5. 如何实现 Redis 的分布式锁？你了解的分布式锁有哪些实现方式？ - 6. Redis 的数据淘汰策略有哪些？分别是如何工作的？ - 7. 什么是 Redis 事务？它是如何实现的？与传统数据库事务有何不同？ - 8. 如何设置 Redis 的主从复制？主从复制有什么优势和限制？ - 9. Redis 支持的数据结构中，有哪些可以实现计数功能？请详细说明其使用场景。 - 10. 什么是 Redis Sentinel？它的作用是什么？如何配置和使用 Sentinel？
2024年社交媒体广告行业分析报告.pptx
04-18
2024年社交媒体广告行业分析报告.pptx
网站界面设计mortal0418代码
04-18
网站界面设计mortal0418代码
2024年休闲椅行业分析报告.pptx
04-18
2024年休闲椅行业分析报告.pptx
anaconda3 -windows安装的
04-18
anaconda3 -windows安装的
华为客户关系管理策略解析glz.pptx
最新发布
04-18
华为客户关系管理策略解析glz.pptx
pytorch报错详解：RuntimeError: Trying to backward through the graph a second time
09-13
这个报错通常是因为在PyTorch计算图中进行了多次反向传播。PyTorch默认情况下禁止多次反向传播，以防止梯度累积导致计算不正确。如果你需要多次反向传播，可以通过调用`.retain_grad()`方法来保留梯度，或者使用`torch.autograd.grad()`函数手动计算梯度。 下面是一个例子，展示了如何处理这个报错： ```python import torch x = torch.tensor([1.0], requires_grad=True) y = x**2 # 进行第一次反向传播 y.backward(retain_graph=True) print(x.grad) # 输出 tensor([2.]) # 进行第二次反向传播 y.backward() # 报错：RuntimeError: Trying to backward through the graph a second time ``` 上述代码中，第一次反向传播成功计算了`x`的梯度。然而，在尝试进行第二次反向传播时，会出现报错。要解决这个问题，可以在第一次反向传播时使用`retain_graph=True`来保留计算图，以便后续的反向传播调用。或者，你也可以使用`torch.autograd.grad()`函数手动计算梯度。 总结起来，如果你需要多次反向传播，请确保在每次反向传播时正确地设置`retain_graph`参数或手动计算梯度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值