Stereo Image Super-Resolution Summary
0. Network Architecture
目前的model基本都由三部分构成:
-
特征提取层:尽量以大的感受野提取图像特征
-
cross-view information融合层
-
重建层
1. Method
1.0 Stereo SR
Stereo SR1是第一个立体超分,不适用于第0节描述的三层架构。其主要由两部分构成:
- 第一部分输入左视图和一系列移位的右视图的concatenate,重建其Y通道;
- 第二部分输入第一部分输出和LR CbCr通道的concatenate,然后重建出最终的SR彩色图像。
所有module都是由普通卷积层和residual block构成,只能处理固定的视差。
1.1 Other method
下面以三层架构比较其他方法
方法 | 特征提取 | 信息融合 | 重建 | 评价 |
---|---|---|---|---|
PASSRnet2 | 共享权重的Residual ASPP Block:并联不同size的膨胀卷积来组合不同大小的感受野 | PAM:由self-attention思想提出了parallax-attention,跟self-attention不同的是,其只关注水平极线而不是整幅图像,减少了计算量。且有loss限制PAM中的注意力图,使其可解释。注意过渡块能增加性能 | 一系列residual block和Sub-pixel module | Residual ASPP Block和PAM的思路比较新颖,但PAM不是对称的,需要计算两次 |
SPAM3 | 共享权重的Residual ASPP Block | 组合了self-attention和PAM,即自身其他位置信息和cross-view沿极线位置的信息 | Sub-pixel | self-attention关注自身相似区域来提取更多信息 |
NNRANet4 | NDAM:将non-local network的Key和Query路换成了一系列module,将V路换成了Residual ASPP Block | PAM | NRG:将residual block中的Conv-ReLU组合换成了residual block,再在内层residual block中添加dense connection。最后用NRG替换residual block中的Conv-ReLU组合,一共3次嵌套。最后Upscale5 | 嵌套思想比较新颖,但难以解释工作原理 |
SAM6 | - | SAM:将PAM改进为对称形式,减小了计算量 | - | 在SISR model中加入SAM 即可用于Stereo image SR,也能增强其SISR性能 |
iPASSR7 | RDB:有点嵌套思想,只是这次是用dense嵌套而不是residual,且只嵌套了2次 | biPAM:更新了SAM中valid mask的计算方式和用法(不再是concatenate,而是加权),并添加了whiten layer(实际效果跟白化不一样,只是均值归0) | channel attention layer(CALayer)5和RBD,然后Sub-pixel | 借鉴嵌套思想更换了Residual ASPP Block和普通residual block,并更新了valid mask用法 |
BSSRnet8 | RDB9 | PAM | 用了双边网格让filter在不同位置的参数不一样,具体的没看懂 | |
CVCnet10 | residual block | CVB:并联2个non-local network结构,组合了图像pairs沿极线的局部信息和整幅图的全局信息,并生成mask去除全局信息中不相关的部分,还在Key跟Value路用了比较新颖的池化层减少计算量同时保证性能。 | 级联一系列SPM,SPM中使用了Split和PPB。效果是重新分配特征图中的像素值,获得更好的特征。最后用Sub-pixel上采样 | CVB的并联思想类似于3,但本文的global是两幅图的global而不是一副图的。 |
Reference
Enhancing the Spatial Resolution of Stereo Images using a Parallax Prior ↩︎
Learning Parallax Attention for Stereo Image Super-Resolution ↩︎
Stereoscopic Image Super-Resolution with Stereo Consistent Feature ↩︎ ↩︎
Non-Local Nested Residual Attention Network for Stereo Image Super-Resolution ↩︎
Image super-resolution using very deep residual channel attention networks ↩︎ ↩︎
A Stereo Attention Module for Stereo Image Super-Resolution ↩︎
Symmetric Parallax Attention for Stereo Image Super-Resolution ↩︎
Deep Bilateral Learning for Stereo Image Super-Resolution ↩︎
Residual dense network for image super-resolution ↩︎
Cross View Capture for Stereo Image Super-Resolution ↩︎