总述
Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。
交叉熵
首先，，回顾交叉熵的形式：
L
=
−
y
l
o
g
y
^
−
(
1
−
y
)
l
o
g
(
1
−
y
^
)
=
{
−
l
o
g
y
^
, if y=1
−
l
o
g
(
1
−
y
^
)
, if y=0
L=-ylog\hat{y}-(1-y)log(1-\hat{y})=\begin{cases} & -log\hat{y} \text{, if y=1} \\ & -log(1-\hat{y})\text{, if y=0} \end{cases}
L=−ylogy^−(1−y)log(1−y^)={−logy^, if y=1−log(1−y^), if y=0
y
^
\hat{y}
y^是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优。那么Focal loss是怎么改进的呢?
L
F
L
=
{
−
(
1
−
y
^
)
γ
l
o
g
y
^
, if y=1
−
y
^
γ
l
o
g
(
1
−
y
^
)
, if y=0
L_{FL}=\begin{cases} & -(1-\hat{y})^{\gamma}log\hat{y} \text{, if y=1} \\ & -\hat{y}^{\gamma}log(1-\hat{y})\text{, if y=0} \end{cases}
LFL={−(1−y^)γlogy^, if y=1−y^γlog(1−y^), if y=0
首先在原有的基础上加了一个因子，其中gamma>0使得减少易分类样本的损失。使得更关注于困难的、错分的样本。
例如gamma为2，对于正类样本而言，预测结果为0.95肯定是简单样本，所以（1-0.95）的gamma次方就会很小，这时损失函数值就变得更小。而预测概率为0.3的样本其损失相对很大。对于负类样本而言同样，预测0.1的结果应当远比预测0.7的样本损失值要小得多。对于预测概率为0.5时，损失只减少了0.25倍，所以更加关注于这种难以区分的样本。这样减少了简单样本的影响，大量预测概率很小的样本叠加起来后的效应才可能比较有效。
865
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
