RuntimeError: reduce failed to synchronize: device-side assert triggered pytorch训练

最新推荐文章于 2022-04-13 10:07:57 发布
最新推荐文章于 2022-04-13 10:07:57 发布
阅读量3.6k 收藏
点赞数
分类专栏： Pytorch 文章标签： pytorch nan
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lwgkzl/article/details/103468011
版权

总述：

本意在于记录一下这个问题产生的种种情况，请注意不是显卡坏了，而是代码出错了。

 

1. nan问题

在训练的时候，长久累积某一个tensor，导致他的值过大产生nan。

还有可能是，某一个参数没有初始化，使得内存地址随意赋值，常出现于nn.paramter()的时候

 

lwgkzl
关注
专栏目录
【RuntimeError: unique_by_key: failed to synchronize】问题解决
kao_lengmian的博客
03-22 570
pytorch训练时，提示错误：RuntimeError: unique_by_key: failed to synchronize: cudaErrorAssert: device-side assert triggered。可以看看config文件中设置的类别数目与数据中实际的类别数目是否一致。问题比较基础，但是报错很多同学不知道是哪里触发的，所以记录一下。
RuntimeError reduce failed to synchronize cudaErrorAssert device-side assert triggered
cicylee的专栏
10-12 2246
RuntimeError: reduce failed to synchronize: cudaErrorAssert: device-side assert triggered 运行基于Unet的CrackForest代码时，出现该错误。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c2DA76xx-1602472447490)(C:\Users\dell\AppData\Roaming\Typora\typora-user-images\1602471396648.pn
Reduce failed to synchronize: device-side assert triggered .（一个在中文里很难找到解决方案的问题）
xiaoxifei的专栏
04-16 1万+
这里必须吐槽下中文环境的bug搜寻情况，直接输入上面的报错很难找到中文描述对应的解决方案。 这是在使用pytorch 自带的BCELoss所报的错误，在GPU，多GPU与CPU运行loss时都会报这样的错误。 我的pytorch环境是0.4.1 ，低于此版本的pytorch都会报这样的问题，1.0版本以上的没有测试过，不知道。 这个bug的来源是BCELoss中输入的张量value的范围必须...
RuntimeError: copy_if failed to synchronize: device-side assert triggered
qq_20373723的博客
03-06 1万+
这是我使用的项目地址：https://github.com/amdegroot/ssd.pytorch 问题描述： 这个问题是我在使用SSD做目标检测时遇到的，我要检测的目标有5种类别，所以我在data/config.py中的num_classes参数写了5，经过多方查找，发现了一个没注意到的细节，类别应该是5+1，那个1应该是背景。 还有一个原因就是标签的标号没有从0开始。 导入模...
Pytorch BCEloss中的 RuntimeError: reduce failed to synchronize: device-side assert triggered
kiwi_Fung的博客
02-04 1422
Pytorch BCEloss中的 RuntimeError: reduce failed to synchronize: device-side assert triggered tensorflow中写代码麻烦，pytorch写起来简单，但是有发现bug，因为是框架内的问题就无法修改。 在确定output已经使用了sigmoid，确定了label和logits都是[0，1] BCEloss 在...
解决RuntimeError: reduce failed to synchronize: device-side assert triggered问题
Lisen’s blog
04-07 4305
首先，上一波报错信息： /pytorch/aten/src/THC/THCTensorIndex.cu:362: void indexSelectLargeIndex(TensorInfo<T, IndexType>, TensorInfo<T, IndexType>, TensorInfo<long, IndexType>, int, int, IndexTy...
RuntimeError: reduce failed to synchronize: device-side assert triggered
09-06
2. CUDA版本不兼容：检查你的CUDA版本是否与PyTorch或其他深度学习框架所需的版本兼容。如果不兼容，尝试升级或降级CUDA版本。 3. 驱动程序问题：确保你的GPU驱动程序是最新的，并与CUDA版本兼容。尝试更新驱动程序...
Loss.cu:97，RuntimeError: copy_if failed to synchronize: cudaErrorAssert: device-side assert triggere
Jiiny_Li的博客
07-28 1268
服务器：Ubuntu18， 环境：python3.6，pytorch 报错信息 /opt/conda/conda-bld/pytorch_1591914838379/work/aten/src/ATen/native/cuda/Loss.cu:97: operator(): block: [0,0,0], thread: [31,0,0] Assertion input_val >= zero && input_val <= one failed. Traceback (most
torch.cuda.synchronize() RuntimeError: CUDA error: device-side assert triggered
最新发布
09-21
CUDA error: device-side assert triggered是指在使用CUDA进行计算时，设备端触发了错误断言。这种错误一般是由于某个计算操作或函数调用出现了问题导致的。为了解决这个问题，可以尝试以下几个方法： 1. 确保CUDA...
pytorch调试代码遇到常见错误类型
Jean的博客
07-16 1162
1. 代码运行遇见以下报错内容： RuntimeError: cublas runtime error : library not initialized at /opt/conda/conda-bld/pytorch_1549627089062/work/aten/src/THC/THCGeneral.cpp:250 RuntimeError: merge_sort: failed to synchronize: device-side assert triggere 以上错误是某个变量的索引超出边界
RuntimeError: CUDA error: device-side assert triggered解决方法
GrandpaTong的博客
04-13 9689
这里写自定义目录标题如何解决总结：数值越界，自己debug 发现出现错误的代码位置，核实附近的函数以及输入，看看到底是哪里越界了，然后想办法解决越界问题。 如何解决 因为大家的代码各不相同，所以每个人都要根据自己的情况来修改代码。产生这个错误的原因就是输入的数值超过索引的界限。举一个不太恰当的例子，a = [0,1,2] 如果你想获得a[99] 就会出现索引越界。 那么我们如果在pytorch中出现这个问题，可能是因为1.损失函数，如BCE损失函数接受的范围为[0,1]，如果你没有做softmax归一化将
RunTimeError踩坑记录
zk_ken的博客
12-17 633
1、RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location=torch.device('cpu') to map your storages to the CPU. 解决方案： 在./si.
runtime error可能的原因
菜鸡成长史
10-30 2528
runtime error可能的原因
pytorch报RuntimeError: copy_if failed to synchronize: device-side assert triggered
热门推荐
修炼之路
07-11 2万+
在使用pytorch训练的时候提示RuntimeError: copy_if failed to synchronize: device-side assert triggered错误 有两个方法可以尝试去解决一下： 1.尝试减少学习率试试看能不能解决这个问题，如果不能，请看第二种方法 2.看看config文件中设置的类别数目与数据中实际的类别数目是否一致，注意对于目标检测需要根据实际的类别...
Pytorch使用训练好的模型时报错RuntimeError: cuda runtime error (10) : invalid device ordinal
stepho的博客
10-16 9337
跑了两天的模型，拿出来做预测的时候加载出了问题，报错如下： RuntimeError: CUDA error (10): invalid device ordinal (check_status at /opt/conda/conda-bld/pytorch_1532579805626/work/aten/src/ATen/cuda/detail/CUDAHooks.cpp:36) 最后发现...
PyTorch关于RuntimeError: copy_if failed to synchronize: device-side assert triggered问题
weixin_38424903的博客
07-28 2077
报错内容 RuntimeError: copy_if failed to synchronize: device-side assert triggered 情况说明 本人遇到的这个问题主要是出现在损失计算处，由于损失计算时，矩阵运算产生了过大（INF）或者过小值（NAN），而使得数值越界断言触发。 个人解决方法 请检查以下几方面： 损失函数计算方法是否存在问题，特别是有除法运算、浮点数运算等，比如 1.05/0 这种问题； 进行损失计算的矩阵是否有问题； 是否可以考虑调整一下学习率； ps：如果不是损
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值