白话Focal loss

1、标准交叉熵损失函数如下：

其中，p为预测为正样本的概率，因为二分类，故预测为负样本概率即为（1-p）。
当label为1时，p应当接近于1使得loss尽可能小；
当label为-1时，p应当接近于0，即（1-p）接近于1使得loss尽可能小。

2、当样本不平衡时，可加入平衡系数α来控制正负样本对总loss的共享权重。这里假设正样本数明显小于负样本。设置α=0.25

当label=1时，loss的权重为0.75
当label=-1时，loss的权重为0.25
如此以来能避免总loss中负样本的loss占大多数，从而对负样本过拟合而正样本不能很好学习。

3、Focal Loss

focal loss能很好的控制容易学习和难学习的loss权重，通过加入参数γ控制。设置γ=2
当label=1时，若p=0.9则是容易学习的样本，则通过系数（1-p）的γ次方减少权重。
当label=-1时，若p=0.1即（1-p）=0.9则是容易学习的样本，同样减少权重。