把小proposal超分后再进行分类和回归
超分的gt是原图,LR是原图缩小0.5倍后的图
有一个问题,图像缩小后,送入同样的特征提取网络,ROI的感受野不一定能对上
按理说,原图,送入特征提取网络,ROI宽w,ROI的感受野为R_w+(w-1)D
缩小0.5倍,送入特征提取网络,ROI宽0.5w,ROI的感受野应该也是上面的一半才能对齐,可实际上并不一定是一半
如上图所示,这里用了相对感受野,就是除以了全图的宽,也就是占全图的比例,这样的话,缩小前后的相对感受野应该相等才能对的上,即DRRF=1,可上面公式表示这明显不为1,是随着w变化的,当w远大于c时,才等于1,也就是说,ROI特别大的时候超分就能对齐,这也是很多人直接超分整个feature map的原因,而要单独超分小目标的话,就很难对齐了,在D确定的情况下(D是stride,因为两个特征提取网络的stride首先得对齐),要使得放缩前后的RRF相等,可以通过改变分子上的R_w,即增大放缩后特征提取分支的感受野
即
使得缩小分支的感受野=(原分支的感受野+D)/2即可,而这可以通过将原分支中的卷积改为空洞卷积,带stride的卷积改为空洞卷积+maxpooling
最好不要使用带stride的空洞卷积