立体图像超分辨总结

Stereo Image Super-Resolution Summary

0. Network Architecture

目前的model基本都由三部分构成:

  1. 特征提取层:尽量以大的感受野提取图像特征

  2. cross-view information融合层

  3. 重建层

1. Method

1.0 Stereo SR

Stereo SR1是第一个立体超分,不适用于第0节描述的三层架构。其主要由两部分构成:

  • 第一部分输入左视图和一系列移位的右视图的concatenate,重建其Y通道;
  • 第二部分输入第一部分输出和LR CbCr通道的concatenate,然后重建出最终的SR彩色图像。

所有module都是由普通卷积层和residual block构成,只能处理固定的视差。

1.1 Other method

下面以三层架构比较其他方法

方法特征提取信息融合重建评价
PASSRnet2共享权重的Residual ASPP Block:并联不同size的膨胀卷积来组合不同大小的感受野PAM:由self-attention思想提出了parallax-attention,跟self-attention不同的是,其只关注水平极线而不是整幅图像,减少了计算量。且有loss限制PAM中的注意力图,使其可解释。注意过渡块能增加性能一系列residual block和Sub-pixel moduleResidual ASPP Block和PAM的思路比较新颖,但PAM不是对称的,需要计算两次
SPAM3共享权重的Residual ASPP Block组合了self-attention和PAM,即自身其他位置信息和cross-view沿极线位置的信息Sub-pixelself-attention关注自身相似区域来提取更多信息
NNRANet4NDAM:将non-local network的Key和Query路换成了一系列module,将V路换成了Residual ASPP BlockPAMNRG:将residual block中的Conv-ReLU组合换成了residual block,再在内层residual block中添加dense connection。最后用NRG替换residual block中的Conv-ReLU组合,一共3次嵌套。最后Upscale5嵌套思想比较新颖,但难以解释工作原理
SAM6-SAM:将PAM改进为对称形式,减小了计算量-在SISR model中加入SAM 即可用于Stereo image SR,也能增强其SISR性能
iPASSR7RDB:有点嵌套思想,只是这次是用dense嵌套而不是residual,且只嵌套了2次biPAM:更新了SAM中valid mask的计算方式和用法(不再是concatenate,而是加权),并添加了whiten layer(实际效果跟白化不一样,只是均值归0)channel attention layer(CALayer)5和RBD,然后Sub-pixel借鉴嵌套思想更换了Residual ASPP Block和普通residual block,并更新了valid mask用法
BSSRnet8RDB9PAM用了双边网格让filter在不同位置的参数不一样,具体的没看懂
CVCnet10residual blockCVB:并联2个non-local network结构,组合了图像pairs沿极线的局部信息和整幅图的全局信息,并生成mask去除全局信息中不相关的部分,还在Key跟Value路用了比较新颖的池化层减少计算量同时保证性能。级联一系列SPM,SPM中使用了Split和PPB。效果是重新分配特征图中的像素值,获得更好的特征。最后用Sub-pixel上采样CVB的并联思想类似于3,但本文的global是两幅图的global而不是一副图的。

Reference


  1. Enhancing the Spatial Resolution of Stereo Images using a Parallax Prior ↩︎

  2. Learning Parallax Attention for Stereo Image Super-Resolution ↩︎

  3. Stereoscopic Image Super-Resolution with Stereo Consistent Feature ↩︎ ↩︎

  4. Non-Local Nested Residual Attention Network for Stereo Image Super-Resolution ↩︎

  5. Image super-resolution using very deep residual channel attention networks ↩︎ ↩︎

  6. A Stereo Attention Module for Stereo Image Super-Resolution ↩︎

  7. Symmetric Parallax Attention for Stereo Image Super-Resolution ↩︎

  8. Deep Bilateral Learning for Stereo Image Super-Resolution ↩︎

  9. Residual dense network for image super-resolution ↩︎

  10. Cross View Capture for Stereo Image Super-Resolution ↩︎

  • 0
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DSIC是深度立体图像压缩的一种方法,通过将深度数据与图像数据结合在一起,实现了更高效的压缩和解压缩。以下是DSIC深度立体图像压缩的代码实现: 1. 数据准备阶段: - 获取左眼和右眼的彩色图像作为输入。 - 通过深度传感器获取左眼和右眼的深度图像。 - 将深度图像进行预处理,例如去噪、缩放等操作。 2. 特征提取阶段: - 对输入的彩色图像进行特征提取,例如采用卷积神经网络(CNN)提取特征。 - 对深度图像进行特征提取,可以选择不同的方法,例如基于几何形状的方法或基于结构的方法。 3. 特征融合阶段: - 将彩色图像特征和深度图像特征进行融合,可以使用简单的加权平均或更复杂的融合方法,如使用神经网络融合。 4. 压缩阶段: - 对融合后的特征进行压缩,可以使用传统的图像压缩算法,如JPEG或JPEG2000。 - 对深度图像进行压缩,可以使用无损压缩算法,如RLE或Huffman编码。 5. 解压缩阶段: - 对压缩后的特征进行解压缩,还原为融合前的特征。 - 对深度图像进行解压缩,恢复为原始的深度图像。 6. 重建阶段: - 将恢复的特征进行重建,生成立体图像。 - 可以使用图像合成方法,如深度图与彩色图的一致性重建算法。 通过上述步骤,DSIC深度立体图像压缩的代码实现可以实现对深度图像和彩色图像的高效压缩和解压缩。具体的算法和实现细节可能会根据具体情况而有所不同,上述只是一个基本的实现框架。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值