处理样本不平衡LOSS—Focal Loss

0 前言

Focal Loss是为了处理样本不平衡问题而提出的，经时间验证，在多种任务上，效果还是不错的。在理解Focal Loss前，需要先深刻理一下交叉熵损失，和带权重的交叉熵损失。然后我们从样本权重的角度出发，理解Focal Loss是如何分配样本权重的。Focal是动词Focus的形容词形式，那么它究竟Focus在什么地方呢？(详细的代码请看Gitee)。

1 交叉熵

1.1 交叉熵损失（Cross Entropy Loss）

有\(N\)个样本，输入一个\(C\)分类器，得到的输出为\(X\in \mathcal{R}^{N\times C}\)，它共有\(C\)类；其中某个样本的输出记为\(x\in \mathcal{R}^{1\times C}\)，即\(x[j]\)是\(X\)的某个行向量，那么某个交叉熵损失可以写为如下公式：

\[ \text{loss}\left( x,\text{class} \right) =-\log \left( \frac{\exp \left( x\left[\text{class} \right] \right)}{\sum_j{\exp\left( x\left[ j \right] \right)}} \right) =-x\left[\text{class} \right] +\log \left( \sum_j{\exp\left( x\left[ j \right] \right)} \right) \tag{1-1} \]
其中\(\text{class}\in [0,\ C)\)是这个样本的类标签，如果给出了类标签的权重向量\(W\in \mathcal{R}^{1\times C}\)，那么带权重的交叉熵损失可以更改为如下公式：

\[ \operatorname{loss}(x, \text {class})=W[\text {class}]\left(-x[\text {class}]+\log \left(\sum_{j} \exp (x[j])\right)\right) \tag{1-2} \]

最终对这个\(N\)个样本的损失求和或者求平均：

\[ \ell = \begin{cases} \sum_{i}^{N}{\text{loss}(x^{(i)},\ \text{class}^{(i)})}&\text{, sum}\\ \dfrac{1}{N}\sum_{i}^{N}{\text{loss}(x^{(i)},\ \text{class}^{(i)})}&\text{, mean} \end{cases} \tag{1-3} \]

这个就是我们平时经常用到的交叉熵损失了。

1.2 二分类交叉熵损失(Binary Cross Entropy Loss)

上面所提到的交叉熵损失是适用于多分类(二分类及以上)的，但是它的公式看起来似乎与我们平