torch.nn里的损失函数：MSE、BCE、BCEWithLogits、NLLLoss、CrossEntropyLoss的用法

1. nn.MSELoss()

模型的预测值与标签的L2距离。一般用于回归问题。之所以不用于分类问题，可能原因为：使用sigmoid之后，函数形式不是凸函数 ，不容易求解 ，容易进入局部最优。

loss = nn.MSELoss()
input = torch.randn(3, 5, requires_grad=True)
target = torch.randn(3, 5)
output = loss(input, target)
output.backward()

2. nn.BCELoss()

交叉熵损失函数，衡量两个分布之间的差异，一般用于分类问题。输入的x值需先经过sigmoid压缩到（0,1）之间。标签形式为[0, 0, 1], [0, 1, 1]等，各个类别预测概率独立，类与类之间不互斥，可见不仅能用于二分类问题，也能用于多标签分类问题。

m = nn.Sigmoid()
loss = nn.BCELoss()
input = torch.randn(3, requires_grad=True)
target = torch.empty(3).random_(2)
output = loss(m(input), target)
output.backward()

3. nn.BCEWithLogitsLoss()

交叉熵损失函数， 与nn.BCELoss()不同的是网络的输出无需用sigmoid压缩，函数内部整合了nn.sigmoid()和nn.BCELoss(),并且使用log-sum-exp trick提高了数值稳定性。同样可用于二分类及多标签分类。
这里简单介绍一下log-sum-exp trick：
原始的log-sum-exp公式为：

$$y=log\sum _i{e}^{x_i}$$
在$x_i$都很小时，${\sum }_i^{}{e}^{x_i}$趋近于0，导致数值计算问题。
而如果$x_i$很大，${\sum }_i^{}{e}^{x_i}$也会很大，同样会导致数值计算问题。
而log-sum-exp trick的计算公式为：
$$a=max(x_i)$$

$$y=a+log\sum _i{e}^{x_i-a}$$
其中$e^{x_i-a}\le 1$,使${\sum }_i^{}{e}^{x_i}$既不会趋于0也不会很大，避免数值溢出。

loss = nn.BCEWithLogitsLoss()
input = torch.randn(3, requires_grad=True)
target = torch.empty(3).random_(2)
output = loss(input, target)
output.backward()

4. nn.LogSoftmax()

将输入softmax后取对数

m = nn.LogSoftmax()
input = torch.randn(2, 3)
output = m(input)

5. nn.NLLLoss()

NLLLoss需要配合nn.LogSoftmax()使用，网络输出的值经过nn.LogSoftmax()后传入NLLLoss()。其标签实际上就是网络输出里对应数值的索引，通过这个索引取得对应的值并去掉负号。如果是一批次的话，还需要求均值。由于网络输出需先经过softmax，各个类别预测概率之和为1，所以类与类之间互斥，用于多类别问题。

loss = nn.NLLLoss()
m = nn.LogSoftmax(dim=1)
loss = nn.NLLLoss()
# input is of size N x C = 3 x 5
input = torch.randn(3, 5, requires_grad=True)
# each element in target has to have 0 <= value < C
target = torch.tensor([1, 0, 4])
output = loss(m(input), target)
output.backward()

# 2D loss example (used, for example, with image inputs)
N, C = 5, 4
loss = nn.NLLLoss()
# input is of size N x C x height x width
data = torch.randn(N, 16, 10, 10)
conv = nn.Conv2d(16, C, (3, 3))
m = nn.LogSoftmax(dim=1)
# each element in target has to have 0 <= value < C
target = torch.empty(N, 8, 8, dtype=torch.long).random_(0, C)
output = loss(m(conv(data)), target)
output.backward()

6. nn.CrossEntropyLoss()

nn.CrossEntropyLoss()是nn.logSoftmax()和nn.NLLLoss()的整合,适用于多类别问题。

loss = nn.CrossEntropyLoss()
input = torch.randn(3, 5, requires_grad=True)
target = torch.empty(3, dtype=torch.long).random_(5)
output = loss(input, target)
output.backward()

分类问题思维导图：