Unsupervised Learning of Stereo Matching

最新推荐文章于 2023-11-25 23:12:07 发布
最新推荐文章于 2023-11-25 23:12:07 发布
阅读量1.8k 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lvhao92/article/details/78305715
版权


Cost-volume Computation

用对应的分支来计算cost-volume，输入即左右图像，生成cost-volume。这部分是由八个卷基层构成的双塔结构。每个层后面有normalization和Relu层。这些层对两个图像的每个块都会产生特征向量。这些特征向量再进入correlation layer，计算得到cost-volume，这个correlation层就是用的Dispnet-C中的那个correlation层。


Cost-volume Aggregation

之前的方法大多使用包边滤波器去聚合cost-volume。我们却使用图像特征网络去学习这个过程中图像的结构。这个网络从两个输入图像中提取特征。这里说的也就是correlation层后面再接一些卷积层去提取特征。

当得到图像特征之后，用联合滤波器整合cost-volume以及输入图像的颜色信息。特征以cost-volume中的每个通道数与输入的颜色信息相融合，然后再连接三个卷积层来产生最终的cost-volume。这是模仿了传统立体匹配方法中的成本聚合过程。这种学习策略更好因为它可以自适应的去找到最合适的参数，细节稍后讨论。


Disparity Prediction

经过处理过后的cos-volume，用winner-take-all的策略来产生视差映射。然而，argmax操作反向无法求，所以用一个soft argmax的操作。在每个像素求得coat-volume中的最大值的系数。

经过上述三个操作。可以直接端到端的来处理立体匹配问题了







kasdlj
关注
论文笔记 | Unsupervised Learning of Stereo Matching
迦小叶的博客
08-01 930
--------------------------------------------------‘山水有相逢’---------------------------------------------------
探索深度：Pyramid Stereo Matching Network 开源项目推荐
最新发布
gitblog_00246的博客
08-08 373
探索深度：Pyramid Stereo Matching Network 开源项目推荐 PSMNetPyramid Stereo Matching Network (CVPR2018)项目地址:https://gitcode.com/gh_mirrors/ps/PSMNet 项目介绍 Pyramid Stereo Matching Network（PSMNet）是一个基于PyTorch的开源项目...
Unsupervised Cross-spectral Stereo Matching by Learning to Synthesize
weixin_42881607的博客
07-14 471
无监督交叉光谱立体匹配的目的是在没有任何深度或视差监督的情况下恢复给定交叉光谱图像对的视差。估计深度为原始图像提供了补充信息，有助于其他视觉任务，如跟踪、识别和检测。然而，不同光谱波段的图像之间存在较大的外观差异，这对跨光谱立体匹配是一个挑战。现有的深部无监督立体匹配方法对图像的外观变化很敏感，不能很好地处理交叉光谱数据。提出了一种基于图像到图像转换的无监督交叉光谱立体匹配框架。首先，一个风格适应...
Unsupervised Learning（无监督学习）
M_Stockholm的博客
02-14 422
Unsupervised(无人监督的) learning allows us to approach problems with little or no idea what our results should look like. We can derive structure from data where we don't necessarily know the effect of th...
什么是无监督学习
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-25 4275
无监督学习（Unsupervised Learning）是机器学习的一种类型，它涉及从未标记的数据中发现隐藏的模式。与监督学习不同，无监督学习的数据没有显式的标签或已知的结果变量。其核心目的是探索数据的内在结构和关系。无监督学习通常用于数据探索、发现洞见以及识别数据中的潜在结构。
【三维成像入门论文学习笔记】一、Unsupervised Learning of MonoDE and Visual Odometry with Deep Feature Reconstruction
Jackkii的博客
02-24 930
论文全名：Unsupervised Learning of Monocular Depth Estimation and Visual Odometry with Deep Feature Reconstruction 基于深层特征重构的单目深度估计和视觉里程计的无监督学习 原文链接：https://arxiv.org/pdf/1803.03893.pdf 开源代码：https://github....
Self-supervised Learning of Motion Capture阅读笔记
qq_40045309的博客
05-04 1686
备注： 1.作者 Hsiao-Yu Fish Tung，Katerina Fragkiadaki 卡耐基梅隆大学 一、概述 1. abstract （1） 跟直接优化mesh and skeleton 的参数不一样的是，我们通过优化网络的权重来预测一个 monocular RGB video中的3D shape and skeleton 的配置； （2） 模型采用end-to-end ...
DeepMatching文献总结：图像拼接、图像匹配、图像检索
沈春旭的博客
07-31 1万+
1. 导读 结合（卷积）神经网络的测度学习，适用于图像拼接image stitching、图像立体匹配 image stereo matching、图像检索image retrieval。 当前三个方向都非常火热，落地项目也很多。 文献主要来源于实验室师兄galad-loth维护的DeepMatching：https://github.com/galad-loth/DeepMatch。因为我也...
ICRA2020论文整理（SLAM + Deep Learning）
热门推荐
Spacegene的博客
07-20 1万+
参考:https://github.com/PaoPaoRobot/ICRA2020-paper-list Table of Contents: 1. SLAM 2. Deep Learning in Robotics and Automation 3.Localization 4. Sensor Fusion 5. Calibration and Identification 6. Semantic Scene Understanding 7. Reinforcement Learn...
计算机视觉、机器学习相关领域论文和源代码集合
松子茶的专栏
01-18 3017
偶尔在网上看到此篇文章，收集CV、ML相关领域论文和源代码集合不错，转载过来共勉。 特征提取Feature Extraction ·         SIFT [1] [Demo program][SIFT Library] [VLFeat] ·         PCA-SIFT [2] [Project] ·         Affine-SIFT [3] [Pr
Pyramid Stereo Matching Network代码理解1-Cosnet部分重点理解
01-06
@staticmethod 而使用@staticmethod或@classmethod，不需要实例化，直接类名.方法名()来调用。 空洞残差网络结构 self.conv1 = StackedBlocks(n_blocks=3, in_channels=32, out_channels=32, kernel_size=3, stride=1, padding=1, dilation=1) 这一行代码说明的是有n_blocks=3，3个残差网络结构连接，然后dilation是是否采用空洞卷积。 for i in range(n_blocks - 1):
[Stereo_unsupervised][cvpr16]Unsupervised learning of disparity maps from stereo images
zhiwei2coder的博客
12-02 337
Notes of this paper which talk about unsupervised learning for stereo match We treat correspond problem as a transformation from the left to right image. First, we start with from the assumption tha...
Unsupervised Learning
weixin_43777451的博客
01-22 335
Unsupervised Learning Unsupervised learning allows us to approach problems with little or no idea what our results should look like. We can derive structure from data where we don’t necessarily know t...
Efficient Deep Learning for Stereo Matching
网瘾少年康复中心
05-16 2341
摘：product layer计算双塔结构网络的内积。问题是多分类识别问题，类别是各种可能的偏移，可以获得矫正得分，与现在的方法相比匹配效果更好。 介： 以前，给一个左图，然后网络判断右图是不是一个合适的匹配。这是一个二分类。相反，这篇文章设计匹配网络可以产生精确的结果。为了达到这样的效果，产生一个product层来计算双塔结构的两个表示的内积。将此类问题看成多分类问题，每一类都是可能的偏移。
《Efficient Deep Learning for Stereo Matching》学习笔记
yanduo2594的博客
03-30 2374
      水平有限，翻译难免存在很多不足，欢迎批评指正。0.摘要            在过去的一年里，卷积神经网络在立体图像估计方面表现出色。然而，目前的网络体系结构依赖于连接，采用级联网络进一步处理，每个图像对需要快速的GPU计算。与此相反，在本文中，我们提出了一个匹配网络，能够在不到一秒钟的GPU计算内产生非常精确的结果。为了达到这个目标，我们设计了一个内积层用于计算连接层中两个特征的内积...
论文阅读《Learning the Distribution of Errors in Stereo Matching for Joint Disparity and Uncertainty Est》
薛定谔的猫头咕咕咕
04-19 420
受启发于多任务学习模型，本文提出一种联合了视差与不确定性估计的损失函数用于监督立体匹配模型的训练，通过使用KL散度来约束预测的不确定性分布与预测误差分布，从而实现模型性能的提升。此外，文中还提出一种可微的 soft-histogramming 来拟合分布。实验结果表明，该方法可以使得模型在视差与不确定性预测的性能得到较大提升。提出一种新的不确定性估计模块来从视差子网络生成的中间多分辨率视差图中提取信息。提出一种可微的软直方图技术，用于近似视差误差和不确定性的分布。基于KL散度损失监督模型训练。
【论文笔记-Stereo】ICCV2017 Cascade Residual Learning: Stereo Matching
zhiwei2coder的博客
12-09 1250
这篇文章介绍了一种新的双目视差计算框架，Cascade Residual Learning。 近年来，在MC-CNN的启发下，视差计算算法成为了一种可以用学习解决的问题。文章总结了近年来基于CNN的视差算法，主要可以分为一下三种： 1. Matching cost Learning：这种方法主要将CNN用于匹配代价计算，辅之以一些经典的后处理方法，以得到比较好的视差图。主要代表有： Han ...
双目深度估计 立体匹配 论文综述及数据集汇总 Deep Stereo Matching paper review and dataset
ydd的博客，记录生活
01-09 7459
双目深度估计立体校正标定 立体匹配 论文综述及数据集汇总 paper review and dataset StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction. Single View Stereo Matching. Generalizing Deep Stereo Matching to Novel Domains. KITTI InStereo2K eth3d middlebury
unsupervised learning of strctured representations via closed-loop
09-16
封闭回路的无监督学习结构化表示 封闭回路的无监督学习结构化表示是一种机器学习方法，旨在通过建立闭环反馈以自动地学习数据之间的结构化表示。在无监督学习中，我们通常没有标签的辅助信息，因此要求模型能够从数据中自动发现隐藏的结构和模式。 封闭回路的无监督学习方法的关键思想是通过对模型输出和输入进行比较来进行训练。在这个闭环中，模型的输出被重新注入到模型的输入中，从而形成了一个持续的迭代过程。模型通过调整自身的参数来最小化输入和输出之间的差异，以此来改善所学到的表示。 使用封闭回路进行无监督学习的一个例子是自编码器。自编码器是一种神经网络模型，它的输入和输出都是相同的。模型的目标是通过学习如何将输入编码为一个低维的表示，并且能够从这个低维表示中重构出输入。在训练过程中，自编码器通过最小化输入和重构输出之间的差异来调整自身的参数。 封闭回路的无监督学习方法有许多优点。首先，由于无需标签，这种方法可以适用于大量未标记的数据。其次，学习到的结构化表示可以用于许多任务，如数据压缩、降噪、特征提取等。此外，通过引入封闭回路，模型可以在训练过程中不断自我纠正，从而改善表示的质量。 总之，封闭回路的无监督学习方法通过建立闭环反馈来自动地学习数据之间的结构化表示。该方法可以应用于无标签数据，并且通过迭代过程来不断改善所学到的表示。这种方法在很多任务中都具有广泛的应用前景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值