研究背景
以往的设计中,对于正负样本的分配主要是两种方式:
- 以RetinaNet为代表的,通过IOU进行正负样本的分配,一般是IOU大于0.5为正样本,IOU小于0.3为负样本,IOU大于0.3小于0.5的样本忽略不考虑。
- 以FCOS为代表的anchor free方案,是在目标框的中心点为标准,靠近中心点的点代表正样本的可能性更大。或者以FoveaBox也类似的思路,将w和h乘以0.3,以中心点为原点内缩为正样本,w和h乘以0.4向外的范围是负样本。0.3到0.4的范围不考虑。
Anchor free的方案是以像素点代表目标进行预测的。
总的来说以前的方案都是人为指定和设计的方法,并不能保证对所有物体形状都适用。本来设计的是一种可微分的自动分配正负样本的方案,让一切皆可学确实是发展趋势。
从上图可以看到几种方案选择正负样本的不同,RetinaNet的橙色为正样本区域,白色为忽略区域,蓝色为负样本区域。这只是举的一个例子,并不表示RetinaNet一定以这个形状的来分配正负样本,真正的情况还是根据IOU来决定。FCOS橙色为代表正样本的像素点,蓝色为代表负样本的像素点。这两种方案都有很明显的颜色区分,就是要么是正样本,要么是忽略样本,要么是负样本。从AutoAssign的图片可以看到完全不一样,AutoAssign并不是这么明显的区分正负样本,更多表达的是正样本的可能性和负样本的可能性,从形状上可以看出更加贴合目标的轮廓。
上面这张图也可以比较清晰的展现出FCOS和AutoAssign的差异,同时也能体现出AutoAssign的优越性。比如香蕉的中心区域根本不能覆盖香蕉本身的实体,所以AutoAssign更好。
上表格展现的是不同算法进行正负样本挑选的策略的,FSAF会根据loss来挑选由FPN的哪层feature map负责预测,这部分属于动态的方式,但是在某个feature map上的正负样本划分还是固定的,不是动态的。AutoAssign的精度最高。