↵
【更新时间:2020年4月17日】
大家检查视力时经常会有这样的体验:有时左眼与右眼均无法单独看清视力表的某一行,但是双眼一起就能看清。其中所蕴含的原理让我们深思:左眼与右眼图像含有互补信息,有利于对图像的重建与细节的恢复。这便是双目图像超分辨的核心思想——利用左右图的互补信息提升图像的分辨率。随着双摄像头成像设备的发展,双目图像超分辨在手机摄像、自动驾驶、遥感与侦察监视、智能机器人等领域具有光明的发展前景。本文将解读双目图像超分辨领域近年来的主要论文,并简要分析该领域存在的挑战与未来工作。
一、双目图像超分辨的现状
- Enhancing the Spatial Resolution of Stereo Images using a Parallax Prior(CVPR2018)【pdf】
该算法简称为StereoSR,可以算作是双目图像超分辨领域的 “开山之作”(不是严格意义上的)。其设计思路相对比较简单,网络结构如下图:
StereoSR在解决双目图像视差方面的思路为:将右图水平移动不同像素,生成64张副本图像,将其与左图级联后送入网络进行重建。对于图像中的任一区域(前提是视差不太大),左图总会和移动某个像素值之后的右图对应,从而对左右图的互补信息进行利用。其网络结构类似于单图超分辨网络VDSR,在生成高分辨率Y通道图像后,该算法又利用另外一个子网络去学习YCbCr到RGB的转换。StereoSR是双目图像超分辨领域一个比较初级的奠基性的工作,实验结果也仅仅展示了其性能优于SISR网络SRCNN 与 VDSR。
该算法简称PASSRnet,前期已有公众号对该工作进行了报道,内容见链接。PASSRnet提出了“视差注意力机制”,巧妙地将self-attention引入到双目视觉中,并通过设计valid mask解决了左右图遮挡的问题,其网络结构如下: