物体检测之损失函数：标准交叉熵损失、平衡交叉熵损失、 Focal Loss

1.标准交叉熵损失

标准的交叉熵（Cross Entropy，CE）函数，其形式如下所示。

公式中，p代表样本在该类别的预测概率，y代表样本标签。可以看出，当标签为1时，p越接近1，则损失越小；标签为0时p越接近0，则损失越小，符合优化的方向。

标准的交叉熵中所有样本的权重都是相同的，因此如果正、负样本不均衡，大量简单的负样本会占据主导地位，少量的难样本与正样 本会起不到作用，导致精度变差。

为了方便表示，按照中将p标记为pt：

则交叉熵可以表示为：

2.平衡交叉熵损失

为了改善样本的不平衡问题，平衡交叉熵在标准的基础上增加了 一个系数αt来平衡正、负样本的权重，αt由超参α按照下式计算得来，α取值在[0,1]区间内。
有了αt，平衡交叉熵损失公式如式：

尽管平衡交叉熵损失改善了正、负样本间的不平衡，但由于其缺 乏对难易样本的区分，因此没有办法控制难易样本之间的不均衡。

3.Focal Loss

Focal Loss为了同时调节正、负样本与难易样本，提出了如下式所示的损失函数。

对于该损失函数，有如下3个属性：

1. 与平衡交叉熵类似，引入了αt权重，为了改善正负样本的不均 衡，可以提升一些精度。
2. ·(1-pt)γ是为了调节难易样本的权重。当一个边框被误分类时，pt 较小，则(1-pt)γ接近于1，其损失几乎不受影响；当pt接近于1时，表明其分类预测较好，是简单样本，(1-pt)γ接近于0，因此其损失被调低了。
3. γ是一个调制因子，γ越大，简单样本损失的贡献会越低。

为了验证Focal Loss的效果，何凯明等人还提出了一个一阶物体 检测结构RetinaNet。

对于RetinaNet的网络结构，有以下5个细节：

1. 在Backbone部分，RetinaNet利用ResNet与FPN构建了一个多尺 度特征的特征金字塔。
2. RetinaNet使用了类似于Anchor的预选框，在每一个金字塔层， 使用了9个大小不同的预选框。
3. 分类子网络：分类子网络为每一个预选框预测其类别，因此其 输出特征大小为KA×W×H，A默认为9，K代表类别数。中间使用全 卷积网络与ReLU激活函数，最后利用Sigmoid函数输出预测值。
4. 回归子网络：回归子网络与分类子网络平行，预测每一个预选框的偏移量，最终输出特征大小为4A×W×W。与当前主流工作不同 的是，两个子网络没有权重的共享。
5. ·Focal Loss：Focal Loss在训练时作用到所有的预选框上。对于两个超参数，通常来讲，当γ增大时，α应当适当减小。实验中γ取2、α取0.25时效果最好。