1.特征金字塔的缺点:对于单发检测器,在不同尺度上的不一致。
2.采用启发式引导的特征选择:大实例通常与上层特征映射相关联,小实例与下层特征映射相关联。
3.解决的问题:如果一幅图像同时包含大小目标,则不同层次特征之间的冲突往往占据特征金字塔的主要部分。这种不一致性干扰了训练过程中的梯度计算,降低了特征金字塔的有效性。
4.这个问题存在的原因:当一个对象在某一层特征图中被赋值并被视为正值时,其他层特征图中相应的区域被视为背景。
5.前人的解决方案:(1)将相邻层的特征图对应区域设置为忽略区域(即零梯度),但这种减弱可能会增加特征相邻层的劣质预测
(2)TridentNet[19]创建多个特定于尺度的分支,具有不同的接收域,用于尺度感知训练和推断。它脱离了特征金字塔,以避免不一致,但也没有重用其高分辨率的地图,限制了小实例的准确性。
6.该论文的解决方案(该部分未理解)
(1)自适应空间特征融合(ASFF):该方法使网络能够直接学习如何在其他层次上对特征进行空间过滤,从而只保留有用的信息进行组合。对于某一层的特征,首先将其他层的特征进行融合并调整到相同的分辨率,然后训练得到最优融合。在每个空间位置上,对不同层次的特征进行自适应融合,即某些特征在该位置上携带矛盾信息而被过滤掉,而另一些特征则以更具辨析性的线索占主导地位。
(2)优点:[1]由于搜索最优融合的运算是差分的,便于反向传播学习;[2]与主干模型无关,适用于特征金字塔结构的单发检测器;[3]实现简单,增加的计算成本是边际的。