Fast(er) rcnn的损失函数总结

Fast R-CNN

Fast RCNN将分类与回归做到了一个网络里面，因此损失函数必定是多任务的：

其中分类任务还是我们常用的对数损失，

对数损失, 即对数似然损失(Log-likelihood Loss), 也称逻辑斯谛回归损失(Logistic Loss)或交叉熵损失(cross-entropy Loss), 是在概率估计上定义的.它常用于(multi-nominal, 多项)逻辑斯谛回归和神经网络,以及一些期望极大算法的变体. 可用于评估分类器的概率输出.

　　对数损失通过惩罚错误的分类,实现对分类器的准确度(Accuracy)的量化. 最小化对数损失基本等价于最大化分类器的准确度.为了计算对数损失, 分类器必须提供对输入的所属的每个类别的概率值, 不只是最可能的类别. 对数损失函数的计算公式如下: 

　　其中, Y 为输出变量, X为输入变量, L 为损失函数. N为输入样本量, M为可能的类别数, yij 是一个二值指标, 表示类别 j 是否是输入实例 xi 的真实类别. pij 为模型或分类器预测输入实例 xi 属于类别 j 的概率.

　　如果只有两类 {0, 1}, 则对数损失函数的公式简化为

　　这时, yi 为输入实例 xi 的真实类别, pi 为预测输入实例 xi 属于类别 1 的概率. 对所有样本的对数损失表示对每个样本的对数损失的平均值, 对于完美的分类器, 对数损失为 0 .

意义：对数损失是用于最大似然估计的（以最大概率为标准来判断结果，即叫做极大似然估计）。一组参数在一堆数据下的似然值，等于每一条数据在这组参数下的条件概率之积。而损失函数一般是每条数据的损失之和，为了把积变为和，就取了对数。再加个负号是为了让最大似然值和最小损失对应起来。用来判断实际的输出与期望输出的接近程度，刻画除实际输出概率与期望输出概率的距离，即交叉熵越小，两个概率分布越接近。

 

回归任务部分：t^u的定义方式与RCNN中一致，为中心区域坐标，以及区域宽度及高度。但是使用的损失函数不同，Fast RCNN使用的损失函数为鲁棒性更佳的L1损失函数，而不是RCNN中使用的L2损失函数，而且训练的过程也简单很多，需要注意的每个区域候选对于每个类都有区域回归训练。

简单的介绍一下l1损失函数和l2损失函数，看这里：

L1是最小绝对值偏差，是鲁棒的，是因为它能处理数据中的异常值。如果需要考虑任一或全部的异常值，那么最小绝对值偏差是更好的选择。

L2范数将误差平方化（如果误差大于1，则误差会放大很多），模型的误差会比L1范数来得大，因此模型会对这个样本更加敏感，这就需要调整模型来最小化误差。如果这个样本是一个异常值，模型就需要调整以适应单个的异常值，这会牺牲许多其它正常的样本，因为这些正常样本的误差比这单个的异常值的误差小。

L2是平方差，L1是绝对差，如果有异常点，前者相当于放大了这种误差，而绝对差没有放大。

https://www.cnblogs.com/pacino12134/p/11104446.html

 

Faster R-CNN

遵循multi-task loss定义，最小化目标函数，FasterR-CNN中对一个图像的函数定义为：

其中：