pytorch loss inf

两个超级大的数相乘，就可能回得到正无穷inf

或者0做除数，也会出现无穷数 inf

HalfTensor模式计算式，值大于65536就会inf，小于-65536就会-inf

0/0就会出现nan，其中一个数是Tensor，

模拟inf：

import torch

a=torch.zeros(1)
b=torch.ones(1,requires_grad=True)
print(b/0)

inf除以0还是inf。

模拟nan：

a=torch.zeros(1)
print(0/a)

替换inf为0，但是不管正无穷还是负无穷，都会替换掉：

import torch

import numpy as np

a = torch.Tensor([[1, 2, 3], [-np.inf, np.inf, 4], [3, 4, 5]])


a = torch.where(torch.isinf(a), torch.full_like(a, 222), a)

print(a)

Out[162]: 
tensor([[1., 2., 0.],
        [0., 0., 4.],
        [3., 4., 5.]])

精确替换：

x[x==-torch.Tensor([np.inf]).type(torch.HalfTensor).to(x.device)]=torch.HalfTensor([-45535]).to(x.device)
x[x==-torch.Tensor([np.inf]).to(x.device)]=torch.FloatTensor([-45535]).to(x.device)

这个替换不能区分正无穷还是负无穷：

x[torch.isinf(x)]=torch.FloatTensor([-45535]).to(x.device)