《Pyramid Stereo Matching Network》

最新推荐文章于 2022-10-16 16:30:02 发布
最新推荐文章于 2022-10-16 16:30:02 发布
阅读量984 收藏 6
点赞数 2
分类专栏： 基于深度学习的深度估计 文章标签： 深度学习 深度估计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42676511/article/details/121065001
版权

源码

1. 研究问题

如何结合全局上下文信息，提高在ill-posed regions（比如遮挡，重复纹理，弱纹理，高光反射等区域）的视差估计精度。

2. 研究方法

针对上述研究问题，作者提出了一个端到端的网络PSM-Net，该网络的两个核心模块是SPP模块和堆叠的沙漏3D CNN模块。其中，SPP模块（金字塔池化模块）通过聚合不同尺度和位置的特征信息（上下文）来构造4D成本量，而堆叠的沙漏3D CNN模块通过skip connection重复的进行自上而下和自下而上的过程，进一步提高全局上下文信息的利用率，并结合中间监督对成本量进行正则化。

2.1 Network Architecture

PSMNet由CNN特征提取，SPP模块，4D 成本量，3D CNN模块组成。如下图所示。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  1. 特征提取模块借鉴ResNet和空洞卷积，提取精细的局部特征，输出 1 / 4 1/4 1/4原始分辨率的特征图。
  2. 空间金字塔模块聚合多尺度上下文信息，形成表达能力更强的特征表示。
  3. 在各个视差下连接左右特征向量，构建4D成本量。
  4. 堆叠的沙漏3D CNN模块结合中间监督，对成本量进行正则化。
  5. soft argmin回归视差图。

2.2 Spatial Pyramid Pooling Module

借鉴PSPNet中的4级金字塔池化模块，捕获分层上下文信息，然后通过卷积、上采样到相同分辨率，再经过concat聚合多尺度上下文信息。

2.3 3D CNN

为了沿视差维度和空间维度聚合特征信息，我们提出了两种用于成本量正则化的 3D CNN 架构：基本和堆叠沙漏架构。

（1）基本架构：包含十二个 3 × 3 × 3 3 × 3 × 3 3×3×3 卷积层。 然后我们通过双线性插值将成本量上采样回大小 H × W × D H×W×D H×W×D。最后，我们应用回归来计算大小为 H × W H × W H×W 的视差图。

（2）堆叠沙漏架构：具有三个主要的沙漏网络，每个沙漏网络都会生成一个视差图。也就是说，堆叠沙漏架构具有三个输出和损失（Loss 1、Loss 2 和 Loss 3）。在训练阶段，总损失计算为三个损失的加权和。在测试阶段，最终的视差图是三个输出中的最后一个。 堆叠沙漏架构可以学习更多的上下文信息。该架构借鉴了GC-Net的编码器-解码器架构。

2.4 视差回归

在这里插入图片描述

2.5 损失

在这里插入图片描述

3. 实验结果

训练：

  1. Adam优化器， β 1 = 0.9 \beta_1=0.9 β1​=0.9， β 2 = 0.999 \beta_2=0.999 β2​=0.999。
  2. 数据预处理：颜色归一化。代码中使用了与ImageNet一样的颜色归一化。
__imagenet_stats = {'mean': [0.485, 0.456, 0.406], 'std': [0.229, 0.224, 0.225]}
  1. 训练期间，图像被随机裁剪为大小 H = 256 和 W = 512。最大视差 (D) 设置为 192。
  2. 使用场景流数据集从头开始训练我们的模型，一共训练10 个Epoch，恒定学习率为 0.001。
  3. 对于 Scene Flow，训练后的模型直接用于测试。对于 KITTI，我们使用在场景流数据训练的模型，在 KITTI 训练集训练 300 个 epoch 进行微调。学习率在前 200 个时期从 0.001 开始，在其余 100 个时期从 0.0001 开始。
  4. 批量大小设置为 12，在四个 nNvidia Titan-Xp GPU上进行训练，每个GPU上分配 3 个数据。

数据集文件结构：

SceneFlowData

-----driving_frames_cleanpass
----------35mm_focallength
---------------scene_backwards
--------------------fast
-------------------------left+img
-------------------------right+img
--------------------slow
-------------------------left+img
-------------------------right+img
---------------scene_forwards
--------------------fast
-------------------------left+img
-------------------------right+img
--------------------slow
-------------------------left+img
-------------------------right+img
----------15mm_focallength
---------------scene_backwards
--------------------fast
-------------------------left+img
-------------------------right+img
--------------------slow
-------------------------left+img
-------------------------right+img
---------------scene_forwards
--------------------fast
-------------------------left+img
-------------------------right+img
--------------------slow
-------------------------left+img
-------------------------right+img
-----driving_disparity
---------------scene_backwards
--------------------fast
-------------------------left+disp
--------------------slow
-------------------------left+disp
---------------scene_forwards
--------------------fast
-------------------------left+disp
--------------------slow
-------------------------left+disp


-----monkaa_frames_cleanpass
----------dd+left+im
----------dd+right+im
-----monkaa_disparity
----------dd+left+disp

-----frames_cleanpass
----------TRAIN
---------------A
-------------------ff+left+im
-------------------ff+right+im
---------------B
-------------------ff+left+im
-------------------ff+right+im
---------------C
-------------------ff+left+im
-------------------ff+right+im
----------TEST
---------------A
-------------------ff+left+im
-------------------ff+right+im
---------------B
-------------------ff+left+im
-------------------ff+right+im
---------------C
-------------------ff+left+im
-------------------ff+right+im
-----frames_disparity
----------TRAIN
---------------A
-------------------ff+left+disp
---------------B
-------------------ff+left+disp
---------------C
-------------------ff+left+disp
----------TEST
---------------A
-------------------ff+left+disp
---------------B
-------------------ff+left+disp
---------------C
-------------------ff+left+disp

KITTI 2015 training data folder

-----image_2
-----image_3
-----disp_occ_0
-----disp_occ_1
注意：'_10'结尾的图像是训练集，'_11'结尾的图像是测试集

KITTI 2012 training data folder

-----colored_0
-----colored_1
-----disp_occ
注意：'_10'结尾的图像是训练集，'_11'结尾的图像是测试集

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

4. 结论

（1）所提出的PSMNet 能够很好的捕获上下文信息，显著提高了不适定区域（病态区域）的视差估计精度。
（2）PSMNet在 2018 年 3 月 18 日之前在 KITTI 2012 和 2015 排行榜中排名第一。

5. 局限性

（1）运行时间较长，相当于iResNet运行时间的4倍，iResNet-i2运行时间的2倍。
（2）重复的上采样和下采样的过程会导致薄结构和边缘的模糊。（GA-Net反映的）。

6. 启发

（1）在语义分割中，上下文信息的聚合很重要，这篇文章就是受到这个启发，从而采用SPP模块和stacked hourglass模块来利用多尺度的上下文信息，以提高视差估计的精度。
（2）利用多尺度的信息有利于提高视差估计的精度。

爱钻研的小铭
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文阅读《PSM-Net: Pyramid Stereo Matching Network》
薛定谔的猫头咕咕咕
03-31 1353
论文地址：https://arxiv.org/abs/1803.08669 代码地址:https://github.com/JiaRenChang/PSMNet 背景   为了提高模型在不确定区域（遮挡与弱纹理）的效果，本文提出了一个PSM-Net，该网络包含金字塔池化与3D正则化层；其中金字塔池化模块有利于模型提取更丰富的上下文信息，而U-Net结构的3D正则化层有效减小了模型的计算量； 模型结构   左右图像同时送进权重共享的特征提取CNN中得到特征图；通过拼接左右特征图来构建代价体；然后通过3
Pyramid Stereo Matching Network
03-28
Recent work has shown that depth estimation from a stereo pair of images can be formulated as a supervised learning task to be resolved with convolutional neural networks (CNNs). However, current architectures rely on patch-based Siamese networks, lacking the means to exploit context information for finding correspondence in illposed regions. To tackle this problem, we propose PSMNet, a pyramid stereo matching network consisting of two main modules: spatial pyramid pooling and 3D CNN. The spatial pyramid pooling module takes advantage of the capacity of global context information by aggregating context in different scales and locations to form a cost volume. The 3D CNN learns to regularize cost volume using stacked multiple hourglass networks in conjunction with intermediate supervision. The proposed approach was evaluated on several benchmark datasets. Our method ranked first in the KITTI 2012 and 2015 leaderboards before March 18, 2018. The codes of PSMNet are available at: https: //github.com/JiaRenChang/PSMNet.
论文阅读笔记《Pyramid Stereo Matching Network》
热门推荐
深视
04-15 2万+
该论文提出的算法，在2018年4月14日前仍然是KITTI排行榜的首位，并且是开源的代码，有较高的学习价值。0.摘要最新的研究表明，利用一对立体图像来估算深度信息可以格式化为一个有监督的学习任务，进而通过卷积神经网络来解决。然而，当前基于图块匹配的Siamese网络的架构，缺少利用环境信息取寻找不适定区域（遮挡区域，弱纹理区域等）一致性的能力。为了解决这个问题，本文提出了PSMNet...
PSMNET(Pyramid Stereo Matching Network)介绍
欢迎大家来到新嬉皮士的世界
10-16 3152
对PSMnet网络中主要设计思路和网络结构进行了提炼。包括SSP的设计 3DCNN等
【论文简述及翻译】PSMNet：Pyramid Stereo Matching Network（CVPR 2018）
qq_43307074的博客
10-06 1843
【论文简述及翻译】Pyramid Stereo Matching Network（CVPR 2018）
PSMNet <Pyramid Stereo Matching Network>
05-30
描述了关于PSMNet实验的部分细节。仅供参考。 可能存在错误，以正确为准。 csdn经常把积分自动改，可以到 https://blog.csdn.net/putyourheart/article/details/95076884 中查看百度网盘链接。
Pyramid Stereo Matching Network代码理解1-Cosnet部分重点理解
01-06
@staticmethod 而使用@staticmethod或@classmethod，不需要实例化，直接类名.方法名()来调用。 空洞残差网络结构 self.conv1 = StackedBlocks(n_blocks=3, in_channels=32, out_channels=32, kernel_size=3, stride=...
twPSMNet_pyramid_立体匹配_神经网络_stereomatching_PSMNET_
10-03
Pyramid Stereo Matching Network
Pyramid Scene Parsing Network.pdf
07-17
语义分割经典论文，PSPNET利用空间金字塔池化获得多尺度信息，值得一看
Stereo Matching: an Overview
04-05
Computer stereo vision is the extraction of 3D information from digital images, such as those obtained by a CCD camera. By comparing information about a scene from two vantage points, 3D information can be extracted by examining the relative positions of objects in the two panels. This is similar to the biological process Stereopsis. Stereoscopic images are often stored as MPO (multi picture object) files. Recently, researchers pushed to develop methods to reduce the storage needed for these files in order to maintain the high quality of the stereo image
论文阅读笔记 《Pyramid Stereo Matching Network》[2018]
weixin_56127994的博客
09-02 517
最近的研究表明，双目图像的深度估计可以表述为一个监督学习任务，可以用卷积神经网络来解决。为了能在不适定区域，利用上下文信息寻找对应关系，提出了PSM-Net。它包含了两个主要的模块：空间金字塔池化（spatial pyramid pooling）模块和3D卷积模块。空间金字塔池化模块通过聚合不同尺度和位置的上下文，充分利用了全局上下文信息的能力来形成cost volume。3D卷积模块利用堆叠的多个沙漏（hourglass）网络来规范化co
经典的端到端的立体匹配网络：PSMNet（Pyramid Stereo Matching Network）
weixin_45614254的博客
12-05 1万+
论文地址：https://arxiv.org/abs/1803.08669 代码地址：https://github.com/JiaRenChang/PSMNet
立体视觉匹配为什么是不适定问题
wh22141334的博客
07-02 287
问题思考 在看深度估计的无监督学习方法时，看到有作者提出立体视觉匹配本身是个不适定问题，所以基于立体视觉匹配的无监督学习方法和有监督比性能上还是有差距。 为什么是不适定问题（ill-posed problem） 论文《Stereo Matching Using Belief Propagation》中提到了stereo vision matching中存在的相关问题。 Noise（噪声）：在形成一张图像时，光线的变化是不可避免的，同时还有图像的模糊，传感器的噪声等。 Textureless region（
什么是 ill-posed 问题
Mr_Lowbee的博客
11-17 6369
ill-posed就是不well-posed. well-posedness的定义就是解存在唯一以及稳定。 适定问题（Well-posed problem）是指满足下列三个要求的问题: 1)解是存在的; 2)解是惟一的; 3)解能根据初始条件连续变化，不会发生跳变，即解必须稳定。 这三个要求中，只要有一个不满足，则称之为不适定问题（ill-posed problems）。图像处理中不适定问题（ill posed problem）或称为反问题（inverse Problem）的研究从20世纪末成为国际上的热点
Stereo Matching Source Code
MyArrow的专栏
11-22 2214
LIBELAS: Library for Efficient Large-scale Stereo Matching Download Stereo and Optical Flow code Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches Deep
pyramid stereo matching network
最新发布
03-16
金字塔立体匹配网络（Pyramid Stereo Matching Network）是一种基于深度学习的立体匹配算法，它通过构建金字塔结构来提高匹配精度和效率。该算法使用卷积神经网络（CNN）来提取图像特征，并通过多个尺度的特征图进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值