Pytorch 教程 3-损失函数

三、损失函数Loss

---

3.1 L1Loss

• torch.nn.L1Loss(size_average=True, reduce=True)

  • 计算output和target之差的绝对值，可选返回同维度的tensor或者是一个标量

  • 计算公式

    $$\mathrm{loss}(\mathbf{x},\mathbf{y})=\frac{1}{N}\sum _{i=1}^N|\mathbf{x}-\mathbf{y}|$$

  • 参数

    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True

---

3.2 MSELoss

• torch.nn.MSELoss(size_average=None, reduce=None)

  • 计算output和target之差的平方，可选返回同维度的tensor或者是一个标量

  • 计算公式

    $$\mathrm{loss}(\mathbf{x},\mathbf{y})=\frac{1}{N}\sum _{i=1}^N{\left|\mathbf{x}-\mathbf{y}\right|}^2$$

  • 参数

    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True

---

3.3 CrossEntropyLoss

• torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=None, reduce=None, reduction='elementwise_mean')

  • 将输入经过softmax激活函数之后，再计算其与target的交叉熵损失。即该方法将nn.LogSoftmax()和nn.NLLLoss()进行了结合。严格意义上的交叉熵损失函数应该是nn.NLLLoss()

  • 计算公式

    $$\mathrm{loss}(x,class)=-\log \left(\frac{\exp (x[class])}{{\sum }_j\exp (x[j])}\right)=-x[class]+\log \left(\sum _j\exp (x[j])\right)$$

  • 参数

    • weight(Tensor)：为每个类别的loss设置权值，常用于类别不均衡问题，weight必须是float类型的tensor
    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True
    • ignore_index(int)：忽略某一类别，不计算其loss，其loss为0，并且，在采用size_average时，不会计算那一类的 loss，除的时候的分母也不会统计那一类的样本。

---

3.4 NLLLoss

• torch.nn.NLLLoss(weight=None, size_average=None, ignore_index=None, reduce=None, reduction='elementwise_mean')

  • 计算公式

    $$\mathrm{loss}(\mathbf{x},\mathrm{label})=-{\mathbf{x}}_{\mathrm{label}}$$

  • 参数

    • weight(Tensor)：为每个类别的loss设置权值，常用于类别不均衡问题，weight必须是float类型的tensor
    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True
    • ignore_index(int)：忽略某一类别，不计算其loss，其loss为0，并且，在采用size_average时，不会计算那一类的 loss，除的时候的分母也不会统计那一类的样本。

---

3.5 PoissonNLLLoss

• torch.nn.PoissonNLLLoss(log_input=True, full=False, size_average=None, eps=1e-8, reduce=None, reduction='elementwise_mean')

  • 用于target服从泊松公布的分类任务

  • 计算公式

    $$\begin{gathered} target\sim Possion(input) \\ loss(input,target)=input-target\ast ln(input)+ln(target!) \end{gathered}$$

  • 参数

    • log_input(bool)：为True时候，计算公式为：$loss(input,target)=exp(input)-target\ast input$，为False时，$loss(input,target)=input-target\ast log(input+eps)$
    • full(bool)：是否计算全部的los
    • eps(float)：当log_input=False时，用来防止计算log(0)，而增加的一个修正项
    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True

---

3.6 KLDivLose

• torch.nn.KLDivLoss(size_average=None, reduce=None, reduction='elementwise_mean')
  • 计算input和target之间的KL散度
  • 参数
    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值，平均值为element-wise的，而不是针对样本的平均；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True

---

3.7 BCELoss

• torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduce=None, reduction='elementwise_mean')

  • 二分类任务时的交叉熵计算函数。在自编码器中常用

  • 计算公式

    ℓ ( x , y ) = L = { l 1 , … , l N } ⊤ , l n = − w n [ y n ⋅ log ⁡ x n + ( 1 − y n ) ⋅ log ⁡ ( 1 − x n ) ] \ell(x,y)=L=\{l_1,\dots,l_N\}^\top,l_n=-w_n\left[y_n\cdot\log x_n+(1-y_n)\cdot\log(1-x_n)\right] ℓ(x,y)=L={l1​,…,lN​}⊤,ln​=−wn​[yn​⋅logxn​+(1−yn​)⋅log(1−xn​)]

  • 参数

    • weight(Tensor)：为每个类别的loss设置权值，常用于类别不均衡问题，weight必须是float类型的tensor
    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True

---

3.8 BCEWithLogitsLoss

• torch.nn.BCEWithLogitsLoss(weight=None, size_average=None, reduce=None, reduction='elementwise_mean', pos_weight=None)

  • 将Sigmoid和BCELoss结合，input经过Sigmoid激活函数后，将变成概率分布的形式

  • 计算公式

    ℓ ( x , y ) = L = { l 1 , … , l N } T , l n = − w n [ t n ⋅ log ⁡ σ ( x n ) + ( 1 − t n ) ⋅ log ⁡ ( 1 − σ ( x n ) ) ] σ ( ) 表示 S i g m o i d 函数 \ell(x,y)=L=\{l_1,\ldots,l_N\}^{\text{T}},\quad l_n=-w_n\left[t_n\cdot\log\sigma(x_n)+(1-t_n)\cdot\log(1-\sigma(x_n))\right]\\ \sigma()表示Sigmoid函数 ℓ(x,y)=L={l1​,…,lN​}T,ln​=−wn​[tn​⋅logσ(xn​)+(1−tn​)⋅log(1−σ(xn​))]σ()表示Sigmoid函数

  • 参数

    • weight(Tensor)：为batch中单个样本设置权值
    • pos_weight：正样本的权重，当$p>1$，提高召回率，当$p<1$，提高精确度，可达到权衡召回率和精确度的作用，必须为一个与类别数等长的向量
    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True

---

3.9 MarginRankingLoss

• torch.nn.MarginRankingLoss(margin=0, size_average=None, reduce=None, reduction='elementwise_mean')

  • 计算两个向量之间的相似度，当两个向量之间的距离大于margin，则loss为正，小于margin，loss为0

  • 计算公式

    $$loss(x,y)=max(0,-y\ast (x_1-x_2)+margin)$$

  • 参数

    • maegin(float)：$x_1$和$x_2$之间的差异
    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True

---

3.10 HingeEmbeddingLoss

• torch.nn.HingeEmbeddingLoss(margin=1.0, size_average=None, reduce=None, reduction='elementwise_mean')

  • 为折页损失的拓展，主要用于衡量两个输入是否相似

  • 计算公式

    l n = { x n , if y n = 1 , max ⁡ { 0 , Δ − x n } , if y n = − 1 , l_n=\left\{\begin{array}{ll}x_n,&\textrm{if}y_n=1,\\ \max\{0,\Delta-x_n\},&\textrm{if}{y_n=-1},\end{array}\right. ln​={xn​,max{0,Δ−xn​},​ifyn​=1,ifyn​=−1,​

  • 参数

    • maegin(float)：默认为1，容忍的差距
    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True

---

3.11 MultiLabelMarginLoss

• torch.nn.MultiLabelMarginLoss(size_average=None, reduce=None, reduction='elementwise_mean')
  • 用于一个样本属于多个类别时的分类任务

---

3.12 SmoothL1Loss

• torch.nn.SmoothL1Loss(size_average=None, reduce=None, reduction='elementwise_mean')

  • 计算平滑L1损失

  • 计算公式

    $$\begin{gathered} loss(x,y)=\frac{1}{n}\sum _i{z}_i \\ \text{where }{z}_i\text{ is given}\text{ by:} \\ {z}_i=\{\begin{array}{ll}0.5(x_i-y_i{)}^2,& \text{if }|x_i-y_i|<1\\ |x_i-y_j|-0.5,& \text{otherwise}\end{array} \end{gathered}$$

  • 参数

    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True

---

3.13 SoftMarginLoss

• torch.nn.SoftMarginLoss(size_average=None, reduce=None, reduction='elementwise_mean')
  • 参数
    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True

---

3.14 MultiLabelSoftMarginLoss

• torch.nn.MultiLabelSoftMarginLoss(weight=None, size_average=None, reduce=None, reduction='elementwise_mean')
  • SoftMarginLoss的多标签版本
  • 参数
    • weight(Tensor)：为每个类别的loss设置权值，常用于类别不均衡问题，weight必须是float类型的tensor
    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True

---

3.15 CosineEmbeddingLoss

• torch.nn.CosineEmbeddingLoss(margin=0, size_average=None, reduce=None, reduction='elementwise_mean')

  • 用cosine函数来衡量两个输入是否相似

  • 计算公式

    $$\mathrm{loss}(x,y)=\{\begin{array}{ll}1-\cos (x_1,x_2),& \text{if }y==1\\ \max (0,\cos (x_1,x_2)-\mathrm{margin}),& \text{if }y==-1\end{array}$$

  • 参数

    • margin(float)：取值范围$[-1,1]$，推荐设置范围$[0,0.5]$
    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True

---

3.16 MultiMarginLoss

• torch.nn.MultiMarginLoss(p=1, margin=1, weight=None, size_average=None, reduce=None, reduction='elementwise_mean')
  • 计算多分类的折页损失

---

3.17 TripletMarginLoss

• torch.nn.TripletMarginLoss(margin=1.0, p=2, eps=1e06, swap=False, size_average=None, reduce=None, eduction='elementwise_mean')

  • 计算三元组损失，人脸验证中常用

  • 计算公式

    L ( a , p , n ) = max ⁡ { d ( a i , p i ) − d ( a i , n i ) + m a r g i n , 0 } where  d ( x i , y i ) = ∥ x i − y i ∥ D . L(a,p,n)=\max\{d(a_i,p_i)-d(a_i,n_i)+margin,0\}\\ \text{where }d(x_i,y_i)=\|\mathbf{x}_i-\mathbf{y}_i\|_D. L(a,p,n)=max{d(ai​,pi​)−d(ai​,ni​)+margin,0}where d(xi​,yi​)=∥xi​−yi​∥D​.

  • 参数

    • margin(float)：默认值为 1
    • p(int)：The norm degree ，默认值为 2
    • size_average(bool)：当reduce=True有效时，为True，返回的loss为平均值；为False，返回的各样本的loss之和
    • reduce(bool)：返回值是否为标量，默认为True

---