今天在训练网络的过程中,存在以前没有遇到过的问题。
类似代码如下
a = torch.tensor([1.])
eps = 1e-8
b = torch.clamp(a, eps, 1-eps)
c = torch.log(b)
#output c : inf
原因是因为clamp
算子对a并没有限制住, a并不是标准的1.,在数据中是会存在一定偏差的。
解决方案: eps = 5e-5
或者再大一些
今天在训练网络的过程中,存在以前没有遇到过的问题。
类似代码如下
a = torch.tensor([1.])
eps = 1e-8
b = torch.clamp(a, eps, 1-eps)
c = torch.log(b)
#output c : inf
原因是因为clamp
算子对a并没有限制住, a并不是标准的1.,在数据中是会存在一定偏差的。
解决方案: eps = 5e-5
或者再大一些