pytorch运行报错：BrokenPipeError

最新推荐文章于 2022-08-26 11:18:44 发布
最新推荐文章于 2022-08-26 11:18:44 发布
阅读量1.5k 收藏
点赞数 1
分类专栏： Python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AUSTINJOE/article/details/123596479
版权

 在做机器学习训练时候出现的问题。

错误原因：该问题的产生是由于windows下多线程的问题，和DataLoader类有关。将num_workers的数量修改为0即可。这是windows下的一个bug。

错误代码可以参考：

trainLoader=torch.utils.data.DataLoader(trainSet,batch_size=Bach_Size,shuffle=True,num_workers=2)
testLoader=torch.utils.data.DataLoader(testSet,batch_size=Bach_Size,shuffle=True,num_workers=2)

将num_workers的数量修改为0

trainLoader=torch.utils.data.DataLoader(trainSet,batch_size=Bach_Size,shuffle=True,num_workers=0)
testLoader=torch.utils.data.DataLoader(testSet,batch_size=Bach_Size,shuffle=True,num_workers=0)

AUSTINJOE
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch BrokenPipeError: [Errno 32] Broken pipe 报错解决
薄荷你玩的博客。个人博客：薄荷分享【www.bhshare.cn】
11-15 5136
Error loading “F:\anaconda3\envs\xxx\lib\site-packages\torch\lib\caffe2_detectron_ops_gpu.dll” or one of its dependencies.数据集较小时（小于2W）建议num_works不用管默认就行，因为用了反而比没用慢。该参数是指在进行数据集加载时，启用的线程数目。的话表示数据集加载在主进程中进行，大于。表示通过多个进程来提升数据集加载速度。Windows下多线程的问题，和。
yolov5 test.py BrokenPipeError: [Errno 32] Broken pipe问题解决
Christo的博客
07-21 880
BrokenPipeError: [Errno 32] Broken pipe
解决pytorch报错BrokenPipeError: [Errno 32] Broken pipe
XavierJ的博客
11-22 1万+
问题描述 BrokenPipeError: [Errno 32] Broken pipe 原因分析 Windows使用DataLoader时设置num_workers的问题。 解决方案 两种解决方案，任选一种即可！ 方案1 把代码放到if __name__ == "__main__":下运行 if __name__ == "__main__": train_dataloader = DataLoader( dataset=dataset, batch_size=32
运行pytorch时报错，BrokenPipeError: [Errno 32] Broken pipe
qq_42262373的博客
03-07 5349
问题：BrokenPipeError: [Errno 32] Broken pipe 解决办法：在主程序或调用的程序中找到num_workers并改为0，及改为单进程加载。 如下图所示
BrokenPipeError: [Errno 32] Broken pipe 基于pytorch的训练 num_worker参数理解
weixin_45139997的博客
07-26 1267
BrokenPipeError: [Errno 32] Broken pipe 基于pytorch的训练 num_worker参数理解
解决pytorch报错:AssertionError: Invalid device id的问题
01-21
在服务器上训练的网络放到本地台式机进行infer，结果出现报错： AssertionError: Invalid device id ...以上这篇解决pytorch报错:AssertionError: Invalid device id的问题就是小编分享给大家的全部内容了，
pytorch_memlab:在pytorch中分析和检查内存
05-04
pytorch_memlab 一个简单，准确的pytorch CUDA内存管理实验室，它由有关内存的不同部分组成： 特征： 内存探查器：具有简单API的line_profiler样式CUDA内存探查器。 内存报告器：一个报告器，用于检查占用CUDA...
pytorch_DANN:PYTorch实施THEN
05-06
PyTorch实施DANN（神经网络领域-专业训练） “” “” 先决条件 python 3.5 pytorch 0.4.1 结果 MNIST -> MNIST-M 这项工作的结果来自平均（以下五项测试）。 实验 仅来源 丹恩 MNIST和MNIST-M功能分布 仅来源 ...
Pytorch [Errno 32] Broken pipe 错误
xinming31的博客
05-08 2109
最近自学pytorch，强迫自己多写代码，今天在定义好dataset后，使用dataloader生成数据的时候，我想建议一下数据是否生成正常，于是写了个简单测试，如下 for i,d in enumerate(dataloader): print("i=", i) a,b,c=d print("center word :",a.shape) print("pos...
BrokenPipeError: [Errno 32] Broken pipe
热门推荐
qq_33666011的博客
08-20 11万+
运行Pytorch tutorial代码报错：BrokenPipeError: [Errno 32] Broken pipe 源代码地址： Training a classifier (CIFAR10) 该问题的产生是由于windows下多线程的问题，和DataLoader类有关，具体细节点这里Fix memory leak when using multiple workers on Win...
李沐动手学深度学习中的问题：【BrokenPipeError:[Errno 32]Broken pipe】
weixin_46143765的博客
05-23 723
在把李沐动手学深度学习“48 全连接卷积神经网络 FCN【动手学深度学习v2】”的代码拷到电脑的使用pycharm运行时，遇到了以下报错： 【BrokenPipeError:[Errno 32]Broken pipe】 感觉应该是DataLoader引发的错误，但是具体是什么错误也不清楚。可以参考以下网页： Pytorch遍历DataLoader时报错【BrokenPipeError:[Errno 32]Broken pipe】 - 掘金GPU环境训练好模型，CPU环境部署过程成功后，尝试遍历Dat
Windows下pytorch读取数据出现Broken pipe
vector_data的博客
02-26 1036
Windows下pytorch读取数据出现Broken pipe完整错误：解决办法： 完整错误： RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you are not using fork to start your child proc
keras frcnn训练时ssh连接中断 训练终止 Broken pipe
Sandwichsauce的博客
03-26 1476
刚开始做毕设，也是刚开始在服务器上训练模型，没有经验。跑frcnn跑了十几个小时之后断了，提示packet_write_wait: Connection to 10.XXX.XX.XXXport 22: Broken pipe 解决：前往文件夹/etc/ssh/ssh_config，在Host *下添加ServerAliveInterval 300和ServerAliveCountM...
BrokenPipeError: [Errno 32] Broken pipe和ValueError: persistent_workers option needs num_workers ＞ 0
Together_CZ的博客
08-26 1593
在使用PyTorch类的项目在windows环境下运行的时候尤其是CPU模式下运行的时候经常就会报各种各样的错误，尤其是跟DataLoader相关的，这里的报错就是因为DataLoader在windows下多线程加载数据集报错导致的，感觉torch对这个问题好像一直没有提上日程去解决它。意思是运行完一个Epoch后并不会关闭worker进程，而是保持现有的worker进程继续进行下一个Epoch的数据加载。(默认值:False)我常用的解决方法就是将nw值改为0即可，事实上这样的确也是起作用的。...
pytorch报错BrokenPipeError: [Errno 32] Broken pipe
wang_xinyu的博客
03-15 1337
这个错误代码是32，是多线程问题，只需修改num_work=0就可以正常运行了。
Pytorch Dataloader Error 32： broken pipe
落地生根
08-18 5336
在win10 中使用Pytorch中Dataloader的多线程（num_worker=4）出现报错： brokenpipeerror errno 32 broken pipe Google结果显示是Pytorch在win10中的debug，暂支持多线程，把num_worker改为0问题解决； 查看官方文档结果如下： 也是建议我们把num_worker设为0，再逐步Debug检测Code。 ...
Pytorch cifar10_tutorial.py问题BrokenPipeError: [Errno 32] Broken pipe
tanmx219的博客
01-09 5319
问题 如果你用windows玩cifar10_tutorial.py,一定碰到过这个问题： BrokenPipeError: [Errno 32] Broken pipe When i :"run cifar10_tutorial.py 先给解决方案，参考：https://github.com/pytorch/examples/issues/201 分析 用IPython运行，事个运行过程...
Pytorch 学习（2）：神经网络及训练一个分类器（cifar10_tutorial的网络结构图）
段智华的博客
08-11 4490
Pytorch 学习（2）：神经网络及训练一个分类器（cifar10_tutorial的网络结构图） 本文代码来自Pytorch官网入门教程，相关内容可以从Pytorch官网学习。 cifar10_tutorial的网络结构图： neural_networks_tutorial.py # -*- coding: utf-8 -*- """ 神经网络 ===============...
pytorch运行报错：AttributeError: module 'gym.wrappers' has no attribute 'Monitor'
最新发布
04-06
这个错误通常是因为您正在使用的gym版本不兼容。您可以尝试升级gym到最新版本，或者尝试使用较旧的版本。您可以使用以下命令安装较旧的gym版本： ``` pip install gym==0.17.3 ``` 如果升级或降级gym版本无法解决...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值