focal loss详解

focal loss详解

• focal loss 是一种处理样本分类不均衡的损失函数，它能够根据分辨样本的难易程度区分样本，给样本不用的损失权重，即容易区分的样本添加较小的权重${\alpha }_1$，给难分辨的样本添加较大的权重${\alpha }_2$。

  • 分类置信度接近1或者0的样本称为易分辨样本
  • 其余称之为难于分辨的样本

• 损失函数的定义如下，将损失函数的重点集中在难分辨的样本上
  $$L_{sum}={\alpha }_1\times L_{易区分}+{\alpha }_2\times L_{难区分}$$

• focal loss的出现过程

  • 标准交叉熵损失，以二分类为例
    $$CE(p,y)=\{\begin{array}{ll}-log(p)& ify=1\\ -lpg(1-p)& otherwise\end{array}$$

    • 为统一$p$、$1-p$，我们设置$p_t$函数：
      $$p_t=\{\begin{array}{ll}p& ify=1\\ 1-p& otherwise\end{array}$$

    • 可以得到$CE(p,y)=CE(p_t)=-log(p_t)$

    • 这种损失函数在处理类不平均衡时非常糟糕，会因为某类的冗余，而主导损失函数，使模型失去效果。

  • 为了解决类不平衡问题，常见的做法是添加权重因子，即平衡交叉熵。在$\alpha \in [0,1]$的前提下，对类别1添加$alpha$，对类别-1添加$1-\alpha$。为了形式上的方便，我们采用$a_t$，从而可以得$CE(p_t)=-a_{t}log(p_t)$。但是，当我们处理大量负样本、少量正样本的情况时，即使我们把负样本的权重设置很低，但是因为负样本的数量太大，积少成多，负样本的损失函数也会主导损失函数。

  • 那些即使置信度很高的样本在标准交叉熵里也会存在损失。置信度很高的负样本往往占总样本的绝大部分，如果将这部分损失去除或者减弱，那么损失函数的效率会更高。
    

    • 作者想减少置信度很高的样本损失在总损失中的比重，即在标准交叉熵前添加了权重因子$(1-p_t{)}^{\gamma }$，形成focal loss：
      • $FL(p_t)=-(1-p_t{)}^{\gamma }log(p_t)$
    • 之前提到了解决类不平衡的平衡交叉熵，那么将平衡交叉熵和focal loss 两者混合就可以得到focal loss的$\alpha$变体，如下，这个损失函数不仅考虑吧了"容易分辨"，还考虑了“正负样本”的问题，在处理类不均衡的问题上，可以发挥巨大的作用。
      • $FL(p_t)=-{\alpha }_t(1-p_t{)}^{\gamma }log(p_t)$
      • $$FL(p)=\{\begin{array}{ll}-\alpha (1-p{)}^{\gamma }log(p)& ify=1\\ -(1-\alpha )p^{\gamma }log(1-p)& otherwise\end{array}$$
        -不同的参数，需要仔细调参，褒贬不一
    • Focal loss与CE损失对比，易受噪音干扰