代码:
r=x_windows.scatter(dim=1,index=topk_index,src=attn_windows)
- topk_index的shape为
[2, 32, 1, 1, 1]
- attn_windows的shape为
[2, 32, 7, 7, 96]
- x_windows的shape为
[2, 64, 7, 7, 96]
该方法的作用是将attn_windows放回原来的位置中。
模型训练过程中,前向传播过程不会报错,但是反向传播过程会报下面错误
RuntimeError: Function ScatterBackward0 returned an invalid gradient at index 1 - got [2, 32, 1, 1, 1]
but expected shape compatible with [2, 32, 7, 7, 96]
解决方法:
将topk_index的shape变成和attn_windows一样。
思考
其实这种问题解决起来并不难,但是在寻找报错代码段时花费了很长时间,因为错误出现在反向传播过程中,错误位置提示并不多。
其实关键点在ScatterBackward0
,如果了解反向传播的函数很容易想到问题出现在scatter方法上。
ScatterBackward0 是 PyTorch 中的一个函数,用于在反向传播时计算张量的梯度。具体来说,它是 PyTorch 中的 Scatter 操作的反向传播实现之一。
类似的还有:AddBackward0 是 PyTorch 中用于实现张量加法操作的反向传播函数之一。
在 PyTorch 中,每个张量操作都有对应的反向传播函数,用于计算该操作对输入张量的导数,并将导数传递回计算图中的其他节点。