focal loss_focal loss公式-CSDN博客

Focalloss是为了解决深度学习中数据不平衡问题而提出的，它通过对交叉熵损失函数的调整，特别是对分类错误样本增加权重，使得模型更关注难分样本，从而提高分类性能。相比于平衡交叉熵，Focalloss从样本分类难度角度出发，其有效性在于通过控制损失函数的梯度，使学习过程聚焦于难分类样本，有助于提升模型对少数类别的识别准确率。

摘要由CSDN通过智能技术生成

转：https://zhuanlan.zhihu.com/p/266023273

背景

Focal loss是最初由何恺明提出的，最初用于图像领域解决数据不平衡造成的模型性能问题。本文试图从交叉熵损失函数出发，分析数据不平衡问题，focal loss与交叉熵损失函数的对比，给出focal loss有效性的解释。

交叉熵损失函数

$L oss = L (y, p) = - y l o g (p) - (1 - y) l o g (1 - p)$

p是预测的概率，y是标签，二分类中对应0,1

$L_{ce}(y,p)=\begin{cases} -log(p), \; if \; y=1 \\ -log(1-p), \; if \;y=0 \end{cases} \tag{1}$

样本不平衡问题

对于所有样本，损失函数为：

$L=\frac{1}{N}\sum^N_{i=1}l(y,p)$

对于二分类问题，损失函数可以写为：

$\frac{1}{N}(\sum^m_{y_i=1}-log(p)+\sum^n_{y_i=0}-log(1-p))$

其中m为正样本个数，n为负样本个数，N为样本总数，m+n=N。

当样本分布失衡时，在损失函数L的分布也会发生倾斜，如m<<n时，负样本就会在损失函数占据主导地位。由于损失函数的倾斜，模型训练过程中会倾向于样本多的类别，造成模型对少样本类别的性能较差。

平衡交叉熵函数(balanced cross entropy)

基于样本非平衡造成的损失函数倾斜，一个直观的做法就是在损失函数中添加权重因子，提高少数类别在损失函数中的权重，平衡损失函数的分布。如在上述二分类问题中，添加权重参数 $\alpha \in [0,1]$ 和 $1-\alpha$

$L=\frac{1}{N}(\sum^m_{y_i=1} - \alpha log(p)+\sum^n_{y_i=0}-(1-\alpha)log(1-p))$

其中 $\frac{\alpha}{1-\alpha}=\frac{n}{m}$ ，即权重的大小根据正负样本的分布进行设置。

Focal loss

即权重的大小根据正负样本的分布进行设置。

focal loss也是针对样本不均衡问题，从loss角度提供的另外一种解决方法。

focal loss的具体形式为：

$L_{fl}=\begin{cases} -(1-p)^{\gamma}log(p), \; if \;y=1 \\ -p^{\gamma} log(1-p), \; if \; y=0\end{cases} \tag{2}$

令 $p_t=\begin{cases} p , \; if \; y=1 \\ 1-p, \; otherwise \end{cases}$

将focal loss表达式（2）统一为一个表达式：

$L_{fl}=-(1-p_t)^{\gamma}log(p_t) \tag{3}$

同理可将交叉熵表达式（1）统一为一个表达式：

$L_{ce}=-log(p_t) \tag{4}$

$p_t$ 反映了与ground truth即类别y的接近程度， $p_t$ 越大说明越接近类别y，即分类越准确。 $\gamma > 0$ 为可调节因子。

对比表达式(3)和(4)， focal loss相比交叉熵多了一个modulating factor即 $(1-p_t)^{\gamma}$ 。对于分类准确的样本 $p_t$ →1 ，modulating factor趋近于0。对于分类不准确的样本 1− $p_t$ →1 ，modulating factor趋近于1。即相比交叉熵损失，focal loss对于分类不准确的样本，损失没有改变，对于分类准确的样本，损失会变小。整体而言，相当于增加了分类不准确样本在损失函数中的权重。

$p_t$ 也反应了分类的难易程度 ， $p_t$ 越大，说明分类的置信度越高，代表样本越易分； $p_t$ 越小，分类的置信度越低，代表样本越难分。因此focal loss相当于增加了难分样本在损失函数的权重，使得损失函数倾向于难分的样本，有助于提高难分样本的准确度。focal loss与交叉熵的对比，可见下图：

在这里插入图片描述

focal loss vs balanced cross entropy

focal loss相比balanced cross entropy而言，二者都是试图解决样本不平衡带来的模型训练问题，后者从样本分布角度对损失函数添加权重因子，前者从样本分类难易程度出发，使loss聚焦于难分样本。

focal loss为什么有效

focal loss从样本难易分类角度出发，解决样本非平衡带来的模型训练问题。

相信很多人会在这里有一个疑问，样本难易分类角度怎么能够解决样本非平衡的问题，直觉上来讲样本非平衡造成的问题就是样本数少的类别分类难度较高。因此从样本难易分类角度出发，使得loss聚焦于难分样本，解决了样本少的类别分类准确率不高的问题，当然难分样本不限于样本少的类别，也就是focal loss不仅仅解决了样本非平衡的问题，同样有助于模型的整体性能提高。

要想使模型训练过程中聚焦难分类样本，仅仅使得Loss倾向于难分类样本还不够，因为训练过程中模型参数更新取决于Loss的梯度。

$KaTeX parse error: \tag works only in display equations$

如果Loss中难分类样本权重较高，但是难分类样本的Loss的梯度为0，难分类样本不会影响模型学习过程。

对于梯度问题，在focal loss的文章中，也给出了答案。如下图所示为focal loss的梯度示意图。其中 $x_t=yx$ ，其中 y∈{−1,1} 为类别， $p_t=\sigma(x_t)$ ，对于易分样本， $x_t$ >0 ，即 $p_t$ >0.5 。由图中可以看出，对于focal loss而言，在 $x_t$ >0 时导数很小，趋近于0。因此对于focal loss，导数中易是难分类样本占主导，因此学习过程更加聚焦正在难分类样本。