Focal Loss论文学习（含多分类任务下的focal loss公式）

Focal Loss for Dense Object Detection

Focal loss是17年由Facebook AI研究院提出发表的。目标检测深度学习的模型结构主流的以两种为主，one-stage和two-stage。由于one-stage的定位和类别预测有同一个网络输出，虽然速度上比two-stage的快，但精确度却由很大差距。Focal Loss的提出就是通过改变模型损失函数从而改变不同难易程度的样本对模型产生的贡献，改善one-stage的固有缺陷。

论文地址：https://arxiv.org/abs/1708.02002

文章研究指出，one-stage的精确度低的问题主要是由于类别失衡造成的，其在产生anchors时大量的简单负样本产生的loss淹没了梯度，而少量困难样本对模型的贡献很低，最终的性能会下降。而为了印证这一问题，文章实验使用的数据集也是目标在图中占比较小的coco数据集。

1.one-stage的样本不平衡问题

首先应该明白文章中所指出的简单负样本和困难正样本的定义，RPN的提出致使如今大部分模型都会使用anchors作为检测过程中的重要目标区域定位手段，在网格中每一个点都会产生anchors，产生的全部anchors数量巨大，而目标在图片中的尺寸较小， 就会产生一个问题，就是有用的正样本(即含有目标区域的anchors)很少，而无用的负样本(即只有背景信息的anchors)很多。文中认为那些只含有背景信息的样本时简单负样本。如下图所示