0.摘要
目的是证明sr是否可以对低分辨率的目标检测任务做出贡献,这篇文章加入了用来计算sr过程中的检测损失。本文想要找来一个鲁棒性比较好的sr方法,可以广泛应用于低分辨率的目标检测中,并且证明其有效性。
1.病态的sr
SR的最终目标仍然是按照人类视觉感知的标准尽可能地重建图像,但是人的感知和机器的感知不同。所以如果我们sr的目的是为了给机器使用,我们应该使用更迎合机器的sr方法而不是使用那些迎合肉眼的方法。低分辨率的图片是通过高分辨率图片下采样的方式获得,图b是1/8-size再填充黑色。
(d)和(e)中的两个SR图像说明了这一点。两者看起来都与人眼相似,但网络的检测结果却有显著差异。此外,传统的重建质量度量(PSNR)未能捕捉到这种差异,将(d)赋值明显较高,但是检测结果更差。
2.Task Driven Super-resolution
由两个构建构成:一个超分辨率(SR)网络S和一个任务网络d。
2.1SR
sr网络可以将低分辨率图像xl映射到高分辨率图像xh = S(xl;θSR)。超分使用DBPN,使用均方误差(MSE)重建损失进行训练。
2.2Task
检测端使用的是一阶段的ssd网络,也是使用比较常规的损失:置信度损失和回归损失。
3.实验结果
超分DBPN在DIV2k预训练,检测SSD在PASCAL VOC0712预训练,测试图片为VOC2007test。原始图像(HR)获得75.8%的mAP,更高的PSNR一定不能对应更好的检测结果。
TDSR方法与其他SR方法的详细比较结果,也包括双三次插值
在现实环境中,图像会受到其他来源的破坏,这可能会加剧分辨率降低带来的本已严重的损害。所以作者模拟噪声后再进行了实验,基于tdsr的超分甚至比原来的结果更好,作者认为可以去模糊。
5.结论
实验结果证明sr在低分辨率目标检测上比插值方式有优势,可以去模糊。但是没有一个更好的图像质量指标来衡量图像的质量。