Warning: Grad strides do not match bucket view strides pytorch利用DDP报错

遇到报错: [W reducer.cpp:362] Warning: Grad strides do not match bucket view strides. This may indicate grad was not created according to the gradient layout contract, or that the param’s strides changed since DDP was constructed. This is not an error, but may impair performance.

机翻:警告。梯度与桶状视图的梯度不一致。这可能表明grad没有按照梯度布局合同创建,或者参数的步长在DDP构建后发生了变化。 这不是一个错误,但可能影响性能。

在这里插入图片描述

方法1:
Github的issue:Grad strides do not match bucket view strides.#47163
pytorch利用DDP进行加速的报错问题
在transpose或者permute后面加 .contiguous()
但是加了之后还是有警告
在这描述

方法2:
类似于x = x[:, :H, :W, :]这种切片的操作
改成:

x = x[:, :H, :W, :].contiguous()

  • 5
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值