立体图像超分辨总结

Stereo Image Super-Resolution Summary

0. Network Architecture

目前的model基本都由三部分构成：

1. 特征提取层：尽量以大的感受野提取图像特征

2. cross-view information融合层

3. 重建层

1. Method

1.0 Stereo SR

Stereo SR¹是第一个立体超分，不适用于第0节描述的三层架构。其主要由两部分构成：

• 第一部分输入左视图和一系列移位的右视图的concatenate，重建其Y通道；
• 第二部分输入第一部分输出和LR CbCr通道的concatenate，然后重建出最终的SR彩色图像。

所有module都是由普通卷积层和residual block构成，只能处理固定的视差。

1.1 Other method

下面以三层架构比较其他方法

方法	特征提取	信息融合	重建	评价
PASSRnet2	共享权重的Residual ASPP Block：并联不同size的膨胀卷积来组合不同大小的感受野	PAM：由self-attention思想提出了parallax-attention，跟self-attention不同的是，其只关注水平极线而不是整幅图像，减少了计算量。且有loss限制PAM中的注意力图，使其可解释。注意过渡块能增加性能	一系列residual block和Sub-pixel module	Residual ASPP Block和PAM的思路比较新颖，但PAM不是对称的，需要计算两次
SPAM3	共享权重的Residual ASPP Block	组合了self-attention和PAM，即自身其他位置信息和cross-view沿极线位置的信息	Sub-pixel	self-attention关注自身相似区域来提取更多信息
NNRANet4	NDAM：将non-local network的Key和Query路换成了一系列module，将V路换成了Residual ASPP Block	PAM	NRG：将residual block中的Conv-ReLU组合换成了residual block，再在内层residual block中添加dense connection。最后用NRG替换residual block中的Conv-ReLU组合，一共3次嵌套。最后Upscale5	嵌套思想比较新颖，但难以解释工作原理
SAM6	-	SAM：将PAM改进为对称形式，减小了计算量	-	在SISR model中加入SAM 即可用于Stereo image SR，也能增强其SISR性能
iPASSR7	RDB：有点嵌套思想，只是这次是用dense嵌套而不是residual，且只嵌套了2次	biPAM：更新了SAM中valid mask的计算方式和用法(不再是concatenate，而是加权)，并添加了whiten layer(实际效果跟白化不一样，只是均值归0)	channel attention layer(CALayer)5和RBD，然后Sub-pixel	借鉴嵌套思想更换了Residual ASPP Block和普通residual block，并更新了valid mask用法
BSSRnet8	RDB9	PAM	用了双边网格让filter在不同位置的参数不一样，具体的没看懂
CVCnet10	residual block	CVB：并联2个non-local network结构，组合了图像pairs沿极线的局部信息和整幅图的全局信息，并生成mask去除全局信息中不相关的部分，还在Key跟Value路用了比较新颖的池化层减少计算量同时保证性能。	级联一系列SPM，SPM中使用了Split和PPB。效果是重新分配特征图中的像素值，获得更好的特征。最后用Sub-pixel上采样	CVB的并联思想类似于3，但本文的global是两幅图的global而不是一副图的。

Reference

---

1. Enhancing the Spatial Resolution of Stereo Images using a Parallax Prior ↩︎

2. Learning Parallax Attention for Stereo Image Super-Resolution ↩︎

3. Stereoscopic Image Super-Resolution with Stereo Consistent Feature ↩︎ ↩︎

4. Non-Local Nested Residual Attention Network for Stereo Image Super-Resolution ↩︎

5. Image super-resolution using very deep residual channel attention networks ↩︎ ↩︎

6. A Stereo Attention Module for Stereo Image Super-Resolution ↩︎

7. Symmetric Parallax Attention for Stereo Image Super-Resolution ↩︎

8. Deep Bilateral Learning for Stereo Image Super-Resolution ↩︎

9. Residual dense network for image super-resolution ↩︎

10. Cross View Capture for Stereo Image Super-Resolution ↩︎