Unsupervised Learning of Stereo Matching

最新推荐文章于 2023-11-25 23:12:07 发布
最新推荐文章于 2023-11-25 23:12:07 发布
阅读量1.8k 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lvhao92/article/details/78305715
版权


Cost-volume Computation

用对应的分支来计算cost-volume，输入即左右图像，生成cost-volume。这部分是由八个卷基层构成的双塔结构。每个层后面有normalization和Relu层。这些层对两个图像的每个块都会产生特征向量。这些特征向量再进入correlation layer，计算得到cost-volume，这个correlation层就是用的Dispnet-C中的那个correlation层。


Cost-volume Aggregation

之前的方法大多使用包边滤波器去聚合cost-volume。我们却使用图像特征网络去学习这个过程中图像的结构。这个网络从两个输入图像中提取特征。这里说的也就是correlation层后面再接一些卷积层去提取特征。

当得到图像特征之后，用联合滤波器整合cost-volume以及输入图像的颜色信息。特征以cost-volume中的每个通道数与输入的颜色信息相融合，然后再连接三个卷积层来产生最终的cost-volume。这是模仿了传统立体匹配方法中的成本聚合过程。这种学习策略更好因为它可以自适应的去找到最合适的参数，细节稍后讨论。


Disparity Prediction

经过处理过后的cos-volume，用winner-take-all的策略来产生视差映射。然而，argmax操作反向无法求，所以用一个soft argmax的操作。在每个像素求得coat-volume中的最大值的系数。

经过上述三个操作。可以直接端到端的来处理立体匹配问题了







kasdlj
关注
论文笔记 | Unsupervised Learning of Stereo Matching
迦小叶的博客
08-01 929
--------------------------------------------------‘山水有相逢’---------------------------------------------------
探索深度：Pyramid Stereo Matching Network 开源项目推荐
最新发布
gitblog_00246的博客
08-08 368
探索深度：Pyramid Stereo Matching Network 开源项目推荐 PSMNetPyramid Stereo Matching Network (CVPR2018)项目地址:https://gitcode.com/gh_mirrors/ps/PSMNet 项目介绍 Pyramid Stereo Matching Network（PSMNet）是一个基于PyTorch的开源项目...
Unsupervised Cross-spectral Stereo Matching by Learning to Synthesize
weixin_42881607的博客
07-14 471
无监督交叉光谱立体匹配的目的是在没有任何深度或视差监督的情况下恢复给定交叉光谱图像对的视差。估计深度为原始图像提供了补充信息，有助于其他视觉任务，如跟踪、识别和检测。然而，不同光谱波段的图像之间存在较大的外观差异，这对跨光谱立体匹配是一个挑战。现有的深部无监督立体匹配方法对图像的外观变化很敏感，不能很好地处理交叉光谱数据。提出了一种基于图像到图像转换的无监督交叉光谱立体匹配框架。首先，一个风格适应...
Unsupervised Learning（无监督学习）
M_Stockholm的博客
02-14 421
Unsupervised(无人监督的) learning allows us to approach problems with little or no idea what our results should look like. We can derive structure from data where we don't necessarily know the effect of th...
什么是无监督学习
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-25 3816
无监督学习（Unsupervised Learning）是机器学习的一种类型，它涉及从未标记的数据中发现隐藏的模式。与监督学习不同，无监督学习的数据没有显式的标签或已知的结果变量。其核心目的是探索数据的内在结构和关系。无监督学习通常用于数据探索、发现洞见以及识别数据中的潜在结构。
【三维成像入门论文学习笔记】一、Unsupervised Learning of MonoDE and Visual Odometry with Deep Feature Reconstruction
Jackkii的博客
02-24 923
论文全名：Unsupervised Learning of Monocular Depth Estimation and Visual Odometry with Deep Feature Reconstruction 基于深层特征重构的单目深度估计和视觉里程计的无监督学习 原文链接：https://arxiv.org/pdf/1803.03893.pdf 开源代码：https://github....
Self-supervised Learning of Motion Capture阅读笔记
qq_40045309的博客
05-04 1680
备注： 1.作者 Hsiao-Yu Fish Tung，Katerina Fragkiadaki 卡耐基梅隆大学 一、概述 1. abstract （1） 跟直接优化mesh and skeleton 的参数不一样的是，我们通过优化网络的权重来预测一个 monocular RGB video中的3D shape and skeleton 的配置； （2） 模型采用end-to-end ...
DeepMatching文献总结：图像拼接、图像匹配、图像检索
沈春旭的博客
07-31 1万+
1. 导读 结合（卷积）神经网络的测度学习，适用于图像拼接image stitching、图像立体匹配 image stereo matching、图像检索image retrieval。 当前三个方向都非常火热，落地项目也很多。 文献主要来源于实验室师兄galad-loth维护的DeepMatching：https://github.com/galad-loth/DeepMatch。因为我也...
ICRA2020论文整理（SLAM + Deep Learning）
热门推荐
Spacegene的博客
07-20 1万+
参考:https://github.com/PaoPaoRobot/ICRA2020-paper-list Table of Contents: 1. SLAM 2. Deep Learning in Robotics and Automation 3.Localization 4. Sensor Fusion 5. Calibration and Identification 6. Semantic Scene Understanding 7. Reinforcement Learn...
计算机视觉、机器学习相关领域论文和源代码集合
松子茶的专栏
01-18 3015
偶尔在网上看到此篇文章，收集CV、ML相关领域论文和源代码集合不错，转载过来共勉。 特征提取Feature Extraction ·         SIFT [1] [Demo program][SIFT Library] [VLFeat] ·         PCA-SIFT [2] [Project] ·         Affine-SIFT [3] [Pr
Pyramid Stereo Matching Network
03-28
Recent work has shown that depth estimation from a stereo pair of images can be formulated as a supervised learning task to be resolved with convolutional neural networks (CNNs). However, current architectures rely on patch-based Siamese networks, lacking the means to exploit context information for finding correspondence in illposed regions. To tackle this problem, we propose PSMNet, a pyramid stereo matching network consisting of two main modules: spatial pyramid pooling and 3D CNN. The spatial pyramid pooling module takes advantage of the capacity of global context information by aggregating context in different scales and locations to form a cost volume. The 3D CNN learns to regularize cost volume using stacked multiple hourglass networks in conjunction with intermediate supervision. The proposed approach was evaluated on several benchmark datasets. Our method ranked first in the KITTI 2012 and 2015 leaderboards before March 18, 2018. The codes of PSMNet are available at: https: //github.com/JiaRenChang/PSMNet.
Pyramid Stereo Matching Network代码理解1-Cosnet部分重点理解
01-06
@staticmethod 而使用@staticmethod或@classmethod，不需要实例化，直接类名.方法名()来调用。 空洞残差网络结构 self.conv1 = StackedBlocks(n_blocks=3, in_channels=32, out_channels=32, kernel_size=3, stride=1, padding=1, dilation=1) 这一行代码说明的是有n_blocks=3，3个残差网络结构连接，然后dilation是是否采用空洞卷积。 for i in range(n_blocks - 1):
[Stereo_unsupervised][cvpr16]Unsupervised learning of disparity maps from stereo images
zhiwei2coder的博客
12-02 337
Notes of this paper which talk about unsupervised learning for stereo match We treat correspond problem as a transformation from the left to right image. First, we start with from the assumption tha...
Unsupervised Learning
weixin_43777451的博客
01-22 333
Unsupervised Learning Unsupervised learning allows us to approach problems with little or no idea what our results should look like. We can derive structure from data where we don’t necessarily know t...
Efficient Deep Learning for Stereo Matching
网瘾少年康复中心
05-16 2337
摘：product layer计算双塔结构网络的内积。问题是多分类识别问题，类别是各种可能的偏移，可以获得矫正得分，与现在的方法相比匹配效果更好。 介： 以前，给一个左图，然后网络判断右图是不是一个合适的匹配。这是一个二分类。相反，这篇文章设计匹配网络可以产生精确的结果。为了达到这样的效果，产生一个product层来计算双塔结构的两个表示的内积。将此类问题看成多分类问题，每一类都是可能的偏移。
《Efficient Deep Learning for Stereo Matching》学习笔记
yanduo2594的博客
03-30 2370
      水平有限，翻译难免存在很多不足，欢迎批评指正。0.摘要            在过去的一年里，卷积神经网络在立体图像估计方面表现出色。然而，目前的网络体系结构依赖于连接，采用级联网络进一步处理，每个图像对需要快速的GPU计算。与此相反，在本文中，我们提出了一个匹配网络，能够在不到一秒钟的GPU计算内产生非常精确的结果。为了达到这个目标，我们设计了一个内积层用于计算连接层中两个特征的内积...
论文阅读《Learning the Distribution of Errors in Stereo Matching for Joint Disparity and Uncertainty Est》
薛定谔的猫头咕咕咕
04-19 416
受启发于多任务学习模型，本文提出一种联合了视差与不确定性估计的损失函数用于监督立体匹配模型的训练，通过使用KL散度来约束预测的不确定性分布与预测误差分布，从而实现模型性能的提升。此外，文中还提出一种可微的 soft-histogramming 来拟合分布。实验结果表明，该方法可以使得模型在视差与不确定性预测的性能得到较大提升。提出一种新的不确定性估计模块来从视差子网络生成的中间多分辨率视差图中提取信息。提出一种可微的软直方图技术，用于近似视差误差和不确定性的分布。基于KL散度损失监督模型训练。
【论文笔记-Stereo】ICCV2017 Cascade Residual Learning: Stereo Matching
zhiwei2coder的博客
12-09 1242
这篇文章介绍了一种新的双目视差计算框架，Cascade Residual Learning。 近年来，在MC-CNN的启发下，视差计算算法成为了一种可以用学习解决的问题。文章总结了近年来基于CNN的视差算法，主要可以分为一下三种： 1. Matching cost Learning：这种方法主要将CNN用于匹配代价计算，辅之以一些经典的后处理方法，以得到比较好的视差图。主要代表有： Han ...
unsupervised learning of strctured representations via closed-loop
09-16
封闭回路的无监督学习结构化表示 封闭回路的无监督学习结构化表示是一种机器学习方法，旨在通过建立闭环反馈以自动地学习数据之间的结构化表示。在无监督学习中，我们通常没有标签的辅助信息，因此要求模型能够从...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值