1、Introduction
提高立体图像视觉的工作很少,而且SISR的方法忽视了不同视角之间的信息。有时候,一些细节信息会在一个视角中存在,而在另外一个视角中不存在。视频和立体图像之间的差异分别由运动和视差所引起,这就导致了视频中的关联和立体图像不同,所以不能用VSR的方法来进行stereo SR任务。而RefSR则需要获取到相应的高分辨率的参考图像,这在实际中往往难以满足。
对于stereo SR任务来说,当重建其中一个视角的时候,视差作为先验信息来帮助重建。
本文的贡献:
- 提出了一个统一的立体图像恢复框架StereoIRN,该模型可以同时感知空间信息和跨视野信息
- 提出了FMDB来通过自适应结合视差域信息的方式整合空间特征
- 引入了差距注意力机制,从而提高disparity的精度
- 本文是第一个来利用视差估计对立体图像进行评估,达到SOTA
3、Method
3.1 视差先验分析
双目图像的成像过程如图所示: