损失函数与优化器

十七个损失函数

L1loss
class torch.nn.L1Loss(size_average=None, reduce=None)
计算 output 和 target 之差的绝对值，可选返回同维度的 tensor 或者是一个标量。

MSELoss
class torch.nn.MSELoss(size_average=None, reduce=None, reduction='elementwise_mean')
计算 output 和 target 之差的平方，可选返回同维度的 tensor 或者是一个标量。

NLLLoss
class torch.nn.NLLLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='elementwise_mean')
对应类别上的输出，取一个负号。

CrossEntropyLoss
class torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='elementwise_mean')
将输入经过 softmax 激活函数，将向量“归一化”成概率形式，再计算其与 target 的交叉熵损失。 即该方法将nn.LogSoftmax()（相当于激活函数）和 nn.NLLLoss()（损失函数）进行了结合。严格意义上的交叉熵损失函数应该是nn.NLLLoss()。

拓展：在多分类任务中，经常采用 softmax 激活函数+交叉熵损失函数，因为交叉熵描述了两个概率分布的差异，然而神经网络输出的是向量，并不是概率分布的形式。所以需要 softmax激活函数将一个向量进行“归一化”成概率分布的形式，再采用交叉熵损失函数计算 loss。

PoissonNLLLoss
class torch.nn.PoissonNLLLoss(log_input=True, full=False, size_average=None, eps=1e-08, reduce=None, reduction='elementwise_mean')
用于 target 服从泊松分布的分类任务。

KLDivLoss
class torch.nn.KLDivLoss(size_average=None, reduce=None, reduction='elementwise_mean')
计算 input 和 target 之间的 KL 散度( 描述两个概率分布之间的差异) 。

BCELoss
class torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction='element wise_mean')
二分类任务时的交叉熵计算函数。

BCEWithLogitsLoss
class torch.nn.BCEWithLogitsLoss(weight=None, size_average=None, reduce=None, reduction='elementwise_mean', pos_weight=None)
将 Sigmoid 与 BCELoss 结合，类似于 CrossEntropyLoss ( 将 nn.LogSoftmax()和 nn.NLLLoss()进行结合）。即 input 会经过 Sigmoid 激活函数，将 input 变成概率分布的形式。

MarginRankingLoss
class torch.nn.MarginRankingLoss(margin=0, size_average=None, reduce=None, reduction='elementwise_mean')
计算两个向量之间的相似度，当两个向量之间的距离大于 margin，则 loss 为正，小于m