这篇博客探讨了在深度学习网络训练过程中遇到的NaN值问题，其原因是函数在某些点不可导。作者提供了一个自定义的`angle`函数，通过引入小值避免在反向传播中出现NaN。该函数使用`torch.atan2`进行正向传播，并在反向传播时确保除数不为零，以防止数值不稳定。博客还提到了`clamp_min_`函数的应用，用于设置梯度计算的下限，以保持数值稳定性。
报错：网络训练过程中出现nan值
原因：函数并不是在所有点可导，增加小值避免反向传播出现nan值的情况。
from torch.autograd import Function
from torch import Tensor
class angle(Function):
"""Similar to torch.angle but robustify the gradient for zero magnitude."""
@staticmethod
def forward(ctx, x: Tensor):
ctx.save_for_backward(x)
return torch.atan2(x.imag, x.real)
@staticmethod
def backward(ctx, grad: Tensor):
(x,) = ctx.saved_tensors
grad_inv = grad / (x.real.square() + x.imag.square()).clamp_min_(1e-10)
return torch.view_as_complex(torch.stack((-x.imag * grad_inv, x.real * grad_inv), dim=-1))
ref：GitHub - Rikorose/DeepFilterNet: Noise supression using deep filtering
扫一扫
2324
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
