【成功 debug】Assertion idx_dim >= 0 && idx_dim < index_size && “index out of bounds“

在 gpu 上跑 torch 代码的时候遇到了如题所示的问题,原因大概率是某行代码 id 溢出,但是如何定位出 bug 的代码呢?

尝试设置:CUDA_LAUNCH_BLOCKING=1 (didn’t work)

这时应该讲代码放到 cpu 上跑,就能精准报错了。

解决步骤

  1. .cuda() 换成 .cpu()
  2. or 使用截断阀 debug(在嫌疑位置设置若干 print input 结点,定位溢出的大致位置,然后将这个模块中的 tensor 转到 cpu 中,这样先粗后细,也能精准定位问题)

我的问题最后定位在: RuntimeError: index -9223372036854775808 is out of bounds for dimension 3 with size 40624

这个 index 的值无比诡异,某大神告诉我可能是数据类型存错了:
【我感觉是binary的时候出问题了】
【检查一下数据类型,binarizer 只能 dump int,是不是存了别的类型】
check 之后果然是数据类型的问题,我给存成 float 了,应该是 int64

最后成功解决所有问题。

总结

  1. 写代码的时候注意安排一个 cpu 和 gpu 的参数开关,debug 的时候方便些
  2. 遇到问题多和同学交流,不要自己死磕,网搜答案不一定靠谱
  • 4
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值