pytorch中的损失函数

torch.nn中的loss function

（公式都来源于源码）
持续更新…

CrossEntrophyLoss：

源码中的公式有三种表述：
$\text{loss}(x,class)=-\log \left(\frac{\exp (x[class])}{{\sum }_j\exp (x[j])}\right)=-x[class]+\log \left({\sum }_j\exp (x[j])\right)$
也就是说，在输出output时，可以不用先softmax，因为竟然交叉熵的时候会再算一遍

$\text{loss}(x,class)=weight[class]\left(-x[class]+\log \left({\sum }_j\exp (x[j])\right)\right)$
这是带有权重的
$\text{loss}=\frac{{\sum }_{i=1}^{N}loss(i,class[i])}{{\sum }_{i=1}^{N}weight[class[i]]}$

NLLLoss:

$x$是网络输出，$y$是目标
源码中表示这个是与logsoftmax层共同合作实现的负对数似然损失，多项分布的似然函数：

所以在多分类问题上应该与交叉熵是等价存在的

ℓ ( x , y ) = L = { l 1 , … , l N } ⊤ , l n = − w y n x n , y n , w c = weight [ c ] ⋅ 1 { c ≠ ignore_index } \ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_{y_n} x_{n,y_n}, \quad w_{c} = \text{weight}[c] \cdot \mathbb{1}\{c \not= \text{ignore\_index}\} ℓ(x,y)=L={l1​,…,lN​}⊤,ln​=−wyn​​xn,yn​​,wc​=weight[c]⋅1{c​=ignore_index}

$\ell (x,y)=\{\begin{array}{ll}{\sum }_{n=1}^N\frac{1}{{\sum }_{n=1}^N{w}_{y_n}}{l}_n,& \text{if reduction}=\text{‘mean’;}\\ {\sum }_{n=1}^N{l}_n,& \text{if reduction}=\text{‘sum’.}\end{array}$

其实在使用中，最后一层如果加了logsoftmax，那么使用NLLLoss和CrossEntropy的结果是一样的，因为在CrossEntropy中又进行了一遍softmax，所以输出的结果都是交叉熵损失