Focal Loss for Dense Object Detection 类不平衡

这篇文章是Kaiming大神和RBG的新作  主要解决不平衡的问题

这是当时作分享的时候做的一个PPT 有需要的可以下载

一些名词：

ground-truth：真值

oreground-background：前景-背景

hard examples：困难样本

Feature Pyramid Network (FPN）：特征金字塔 kaiming大神的另一篇文章

anchors：锚点

摘要（抓重点）

我们知道 目标检测的算法可以分为两大类：one-stage 、two-stage 两种方法的比较如下：

出发点：one-stage detector是否可以达到two-stage detector的准确率，同时不影响原有的速度?

有了这个出发点后 就要调查 为什么 one-stage不如two-stage 引用原文的话We discover that the extreme foreground-background class imbalance encountered during training of dense detectors is the central cause.前景和背景的不平衡是主要原因（比如一张图里面有一只猫，我们要检测这只猫，那相应的草啊、地面啊等等就属于背景，猫就是前景，也许背景占的比例很大，猫占的比例很小，就是所谓的foreground-background class imbalance ）

解决办法：重塑交叉熵损失函数来降低容易分的类的权重  reshaping the standard cross entropy loss such that it down-weights the loss assigned to well-classified examples

摘要看完 无非就是 问题提出 问题描述 问题解决 的一个大概思路 接下来就会详细讲实现过程啦！所以看摘要 围绕着三点来看 给自己 一个大概的思路（个人感觉的哈）

介绍部分（简略看）

第一段介绍two-stage的光辉历史

第二段夸奖one-stage

第三段引出focal loss

第四段 介绍在two-stage上解决不平衡的一些方法

第五段 介绍在one-stage上解决不平衡的一些方法

第六段 focal loss 压轴出场 a more effective alternative to previous approaches for dealing with class imbalance. 实验表明，focal loss使我们能够训练一个高精度，单级探测器，它明显优于采样启发式算法或困难样本挖掘的训练方法和以前用于训练单级探测器的先进技术。

相关工作部分（简略看）

主要介绍了一些物体检测、行人检测、one-stage、two-stage的大概，这里提到了不平衡类带来的影响：

1.训练效率低下，容易分类的负样本数量太大，占总的loss的大部分，使得训练低效

2.整体而言，负样本主导了训练并导致出现不好的模型

Focal loss

1.二分类的交叉熵 如下公式1：

y代表真值，的取值为+1或者-1，代表是1类和-1类类（因为是二分类 所以只有两类）

p代表概率，取值为0到1

eg：当真实标签为1，即y=1时，假如某个样本x预测为1类的概率为p=0.6 那么损失就是-log(0.6)

假设 y=1 p=0.6 loss=-log(0.6) ;

        y=1 p=0.9 loss=-log(0.9)  

        -log(0.6)>-log(0.9) 前面一个损失较高

为了方便，用pt代替p，如下公式2：

2.平衡交叉熵

增加了一个系数at，跟pt的定义类似，当label=1的时候，at=a；当label=-1的时候，at=1-a，a的范围也是0到1，可以用于控制正负样本的权重A common method for addressing class imbalance is to introduce a weighting factor α ∈∈ [0,1] for class 1 and 1- α for class -1

eg：假如1类的样本多 -1类的样本少 那么应该加大-1类的权重 减小1类的权重 那如何做的呢  就是调整该系数

假设αt=0.4  则1-αt=0.6

        y=1 p=0.6 loss=-0.4log(0.6) ;

        y=0 p=0.6 loss=-0.6log(0.6)  

可以看到 -1类的权重 明显提高 而且可调

但是该方法 只能调整正负样本的权重 对于难分类和易分类的没办法控制 所以就有了如下的focal loss：

3.focal loss

 

4改进的交叉熵损失

作者在实验中采用的是公式5的focal loss（结合了两个公式，这样既能调整正负样本的权重，又能控制难易分类样本的权重）

实验证明，该公式相比没有α系数的loss函数 能提高一定的准确率

 

实验