双目图像超分辨：现状、挑战与展望

  ↵

【更新时间：2020年4月17日】

大家检查视力时经常会有这样的体验：有时左眼与右眼均无法单独看清视力表的某一行，但是双眼一起就能看清。其中所蕴含的原理让我们深思：左眼与右眼图像含有互补信息，有利于对图像的重建与细节的恢复。这便是双目图像超分辨的核心思想——利用左右图的互补信息提升图像的分辨率。随着双摄像头成像设备的发展，双目图像超分辨在手机摄像、自动驾驶、遥感与侦察监视、智能机器人等领域具有光明的发展前景。本文将解读双目图像超分辨领域近年来的主要论文，并简要分析该领域存在的挑战与未来工作。

一、双目图像超分辨的现状

•  Enhancing the Spatial Resolution of Stereo Images using a Parallax Prior（CVPR2018）【pdf】

该算法简称为StereoSR，可以算作是双目图像超分辨领域的 “开山之作”（不是严格意义上的）。其设计思路相对比较简单，网络结构如下图：

StereoSR在解决双目图像视差方面的思路为：将右图水平移动不同像素，生成64张副本图像，将其与左图级联后送入网络进行重建。对于图像中的任一区域（前提是视差不太大），左图总会和移动某个像素值之后的右图对应，从而对左右图的互补信息进行利用。其网络结构类似于单图超分辨网络VDSR，在生成高分辨率Y通道图像后，该算法又利用另外一个子网络去学习YCbCr到RGB的转换。StereoSR是双目图像超分辨领域一个比较初级的奠基性的工作，实验结果也仅仅展示了其性能优于SISR网络SRCNN 与 VDSR。

 

• Learning Parallax Attention for Stereo Image Super-Resolution（CVPR2019）【pdf】【supp】【code】

该算法简称PASSRnet，前期已有公众号对该工作进行了报道，内容见链接。PASSRnet提出了“视差注意力机制”，巧妙地将self-attention引入到双目视觉中，并通过设计valid mask解决了左右图遮挡的问题，其网络结构如下：

PASSRnet网络主要分为特征提取模块（包含残差ASPP与残差块）、视差注意力机制模块（PAM）以及图像重建模块。视差注意力机制模块能够沿双目图像视差方向融合互补信息，不受视差大小的限制，相比于StereoSR具有更强的灵活性与鲁棒性。实验结果方面࿰