focal loss的实现

focal loss的原文https://arxiv.org/abs/1708.02002里公式写的不太清晰，只写了其中一部分（正例项），实际编程实现的时候正例项和负例项对损失的贡献都是要考虑的，很多博客里写的都是错的，下面给出正确公式。

 

设标签为y，预测为y'，

二进制交叉熵（Binary Cross Entropy, BCE）定义为：

   

Focal Loss（FL）如下，其中alpha推荐0.25，gamma推荐2

   

有些代码里是这样实现的：

alpha_factor = torch.ones(true.shape).cuda() * alpha
alpha_factor = torch.where(torch.eq(true, 1.), alpha_factor, 1. - alpha_factor)
focal_weight = torch.where(torch.eq(true, 1.), 1. - pred, pred)
focal_weight = alpha_factor * torch.pow(focal_weight, gamma)

bce = -(true* torch.log(pred) + (1.0 - true) * torch.log(1.0 - pred))
cls_loss = focal_weight * bce

实际上只用一行就够了：

loss = - alpha * torch.pow(1-pred,gamma) * true * torch.log(pred) \
       - (1-alpha) * torch.pow(pred,gamma) * (1-true) * torch.log(1-pred)