1、hard FP
1)极少量的高置信度FP是mAP明显下降的主要原因
2)hard FP主要有三种:
- 框只覆盖部分目标(IoU小):只覆盖了有辨别力的part
- 相似类之间的区分错误:不同类之间share有辨别力的part;分类器不够强大
- 背景错分为目标:背景pattern与目标相似;感受野过大,包含了相邻的目标物体
* 均由suboptimal分类器导致
2、Faster R-CNN的弊端
1)分类和定位的目标不同,因此共享的特征对两个任务来说并不是最优的
* 分类需要translation invariant特征;定位需要translation covariant特征
2)多任务学习有相互促进的作用,但multi-task loss的最优,对于子任务的loss来说并不是最优的
* MTL适用于backbone较弱的情况,当backbone足够强大时,multi-task无法发掘backbone的潜力
3)proposal的不同目标共享相同的感受野,对于小目标是冗余的,对大目标来说不够(但是不同大小的anchor在roi pooling之后对应的feature map范围不同,所以这一点不能理解)
* 尽管一些网络采用了multi-scale策略,但multi得远远不够
4)sub-sampling操作可能会引入严重的unalignment,例如一个像素的偏移,下采样32倍后,会导致32个像素的偏移
4、Decoupled Classification Refinement (DCR)网络
1)Faster R-CNN输出检测结果,作为region proposal,每个proposal的置信度为score_frcnn
2)根据proposal,在原图上crop-resize相应区域到固定size(相当于把ROI Pooling放到了原图上,但ROI Pooling的感受野明显更大)
3)用hard FP训练类似于R-CNN结构的强分类器,每个proposal的置信度为score_dcr
4)test时,score = score_frcnn * score_dcr,只用score_dcr结果很差,因为rcnn无定位功能,是强分类器,倾向于crop中出现部分目标就预测为正
* DCR和Faster R-CNN不共享参数