CVPR 2019 | 国防科大提出双目超分辨算法，效果优异代码已开源

点击我爱计算机视觉标星，更快获取CVML新技术

---

近年来，双摄像头成像系统在智能手机、自动驾驶等领域取得了广泛的应用。

近日，来自国防科技大学等单位的学者提出了新型双目超分辨算法，充分利用了左右图的信息提升图像超分辨效果；

另外，他们构建了一个大型双目图像超分辨数据集，用于双目图像超分辨算法的训练和评估。代码已开源，相关论文已被CVPR 2019录用。

以下是论文作者信息：

论文链接：

https://arxiv.org/pdf/1903.05784.pdf 
代码链接：

https://github.com/LongguangWang/PASSRnet 
数据集链接：

https://yingqianwang.github.io/Flickr1024/

引言

双摄系统提供了同一场景两个不同视角的观测信息。然而在实际应用中，由于相机基线、焦距、场景深度以及成像分辨率不同，双目图像的视差具有较大差异。因此如何高效、灵活地利用双摄系统来提升图像的分辨率存在较大的挑战。

本文提出了一种基于视差注意力机制（Parallax Attention Mechanism）的双目图像超分辨网络（Parallax Attention Stereo SR Network, PASSRnet），利用视差注意力机制实现了对双目图像左右图信息的高效融合。

同时本文构建并公开了一个大型双目图像超分辨数据集Flickr1024，用于双目图像超分辨算法的训练和评估。

本文将双目视觉中的对极几何（EPI）关系引入到注意力机制中，计算双目图像不同视差位置间的相似性，并基于这一相似性测度实现对左右图特征的融合。

视差注意力机制能够对双目图像中沿视差方向的全局信息进行融合，不受视差大小的限制，具有更强的灵活性与鲁棒性。

本文所提算法在Middlebury、KITTI2012以及KITTI2015数据集上与主流算法进行了对比，实验结果证明了PASSRnet的优越性。

方法

PASSRnet的网络结构如图1所示，其输入为低分辨率双目RGB图像，输出为高分辨率左视角RGB图像。