focal loss简要解读

1 focal loss作用

聚焦于难训练的样本，对于简单的，易于分类的样本，给予的loss权重越低越好，对于较为难训练的样本，loss权重越好越好。

简单有效

2 证明

2.1 交叉熵的计算

交叉熵是这样子的，就算是多类交叉熵也可以按二进制交叉熵来算的。

2.2 简化交叉熵（对于二进制交叉熵来说）

然后假设pt并简化交叉熵：

可以看出，此时Pt，值域还是0-1之间，Pt越大，越接近于1，那么证明其越准确，越容易分，当然loss也就越小，那么对于比较难分的类，怎么样在loss函数中强调它呢？

当当当：

Pt越大，代表越容易分，那么1-Pt越小，y是一个整指数，指数化之后就更小了，这样越容易分，越简单的样本，loss的权重就越小了，这样就可以聚焦于难训练的样本，进行训练了。

参考：
懒人学ai微信公众号：focal loss
https://blog.csdn.net/qq_16949707/article/details/82987724