【论文学习笔记-10】ActiveStereoNet（Google ECCV2018）主动式双目相机自监督学习立体匹配网络

最新推荐文章于 2023-04-19 21:34:06 发布
最新推荐文章于 2023-04-19 21:34:06 发布
阅读量696 收藏 5
点赞数
分类专栏： 学习 文章标签： 计算机视觉 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Imperfactions/article/details/119155943
版权

【论文学习笔记-10】ActiveStereoNet（Google ECCV2018）主动式双目相机自监督学习立体匹配网络）

ORAL

针对双目立体匹配中无监督存在着大量无纹理区域难匹配的问题，本文提出了采用主动式双目相机进行立体匹配的解决方案，本文数据集采用的是Inter Realsense D435 cemera采集,包含了双目相机和红外发射器(IR projector)用于对场景发射红外纹理以提高双目匹配精确度，但是由于采集的数据集缺乏如其它数据集一般的groundtruth，因此本文提出了一种通过双目自监督学习进行立体匹配训练的方法。

自监督训练方法

作者认为，在自监督的方法中，选择合适的loss比调试网络对结果更重要。
网络上，使用并扩展了Google 同组 ECCV2018另一篇文章StereoNet的网络结构,如图

在这里插入图片描述

使用这个网络的原因是它的效果很好，同时在GPU上可以达到全分辨率60HZ的速度。

首先输入左右图，通过siamise tower特征网络提取1/8分辨率的Feature Map，并计算出了一个1609012(这里应该是1/8W1/8H1/8D)的costvolume，以保证全分辨率下视差计算范围至多可达到144，可以精确计算至多离设备30cm的深度。

costvo

最低0.47元/天 解锁文章
Imperfactions
关注
专栏目录
【直播讲座笔记】CAIRDC会议：三维视觉，主动双目相机，SLAM及其在机器人和AI领域的应用
weixin_44991673的博客
07-21 756
文章目录人与机器的视觉被动双目主动双目小觅智能双目产品介绍 人与机器的视觉 人的视觉： 机器的视觉：CCD（电流的变化），CMOS（半导体大规模制造，电压变化），安防，人脸识别，昆虫的复眼（多目，3D，AR，VR，360度方向） 被动双目 最早是被动双目，通过两个图像把深度信息还原回来， 被动双目通过匹配同一个物体在左右目中的移动（视差，与距离成反比，三角关系计算） 被动双目的好处在于室内和室外都工作。 被动双目测量的深度可以很大，甚至是星星和我们的距离（不同位置看星星，然后计算时差），关键在于基线距离，1
StereoNet-ActiveStereoNet：立体匹配StereoNet：pytorch中的实时边缘感知深度预测模型的指导层次细化。 ECCV2018; ActiveStereoNet：主动立体声系统的端到端自我监督学习ECCV2018口语
02-04
StereoNet：在pytorch中对实时边缘感知深度预测模型进行指导的分层优化。 ECCV2018 ActiveStereoNet：主动立体声系统的端到端自我监督学习ECCV2018口语 如果您想就StereoNet与我交流，请随时与我联系。 我的电子邮件： 我的模型结果 现在，通过端到端训练，我的模型的速度可以在540 * 960 img上达到25 FPS，在场景流数据集上，最佳结果是1.87 EPE_all（使用16X多个模型），1.95 EPE_all（使用16X单个模型）。 以下是侧面输出和预测示例 火车例子 测试例 在titan xp gpu上超过100FPS KITTI20
《ActiveStereoNet: End-to-End Self-Supervised Learning for Active Stereo Systems》
正在挣扎中的人
11-28 747
总结ASN
【论文学习笔记-11】StereoNet（Google ECCV）
Imperfactions的博客
08-17 778
【立体匹配专题文献-10】StereoNet（Google ECCV）) 又一篇快速立体匹配文章。 Contribution ①证明了基于神经网络的亚像素级别匹配的精度比传统方法高一个数量级 ②通过一个低分辨率的costvolume就可以达到高精度的亚像素级别匹配精度 ③说明了之前的方法使用的costvolume的参数冗余了，通过本文的方法可以显著降低运算时间和存储空间，代价的很小的精度损失。
双目匹配与视差估计_补充（侧重自监督/无监督方面）
nzzfsw的博客
04-15 1503
文章百度网盘（图片上传总是失败，想看图的话直接下载word吧）： 链接：https://pan.baidu.com/s/1thJ9u7vyUrg8N9fBBeh6Uw 提取码：813e PYD-NET（iros2018） 与多数策略一样，将深度估计视为图像重建问题去解决。对每一对无标签的数据，左视图通过网络处理获得逆深度图（即视差图disparity maps）。PyD Net可以...
主动双目立体视觉技术的深度学习
weixin_45779816的博客
12-29 1598
主动双目立体视觉——Intel Realsense D435 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界...
X-StereoLab:SOS IROS 2018 谷歌； StereoNet ECCV2018 GOOGLE； ActiveStereoNet ECCV2018 口头GOOGLE； HITNET CVPR2021 GOOGLE
07-24
X-StereoLab 是一个基于 PyTorch 的开源立体匹配和立体 3D 对象检测工具箱。 新闻：我们发布了代码库 v0.0.0。 GOOGLE HITNET模型pytorch模型即将发布。 GOOGLE HITNET模型pytorch KITTI2015提交： ://...
amc-models:[ECCV 2018] AMC
05-08
此存储库包含纸上AMC的一些压缩模型：用于移动设备上的模型压缩和加速的AutoML（ECCV18） 。 参考 如果您发现这些模型有用，请引用我们的论文： @inproceedings{he2018amc, title={AMC: AutoML for Model ...
SCAN:PyTorch“用于图像-文本匹配的堆叠式交叉注意”的源代码（ECCV 2018）
05-03
该论文将出现在ECCV 2018中。该论文建立在PyTorch的之上。 要求和安装 我们建议以下依赖项。 Python 2.7 0.3 （> 1.12.1） 朋克句子分词器： import nltk nltk . download () > d punkt 下载资料 下载数据集...
一种基于双目主动视觉的线性自标定算法
08-25
从理论上推导出了绝对二次曲面包含了摄像机全部内参数和无穷远平面信息，并根据双目视觉之间的平移关系，扩展了无穷远平面信息对绝对二次曲面的线性约束，仅仅通过两幅图像就可以线性自标定和三维重建。
【论文笔记】ActiveStereoNet: End-to-End Self-Supervised Learning for Active Stereo Systems
weixin_42663567的博客
02-11 555
1 Intro 本文设计了一个端到端的方法，同样使用生成差异图的方法。不同在于这个模型加强了loss约束，增强了对噪声、低纹理区域和光强变化的稳定性。不使用一般左右一致性的方法的处理遮挡区域，这里使用left—check的方法，减少了计算时间。另外采用adaptive support weight方法（基于窗口的cost aggregation）对loss优化，这样可以保留边界并使loss平滑，最...
StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction（ECCV 2018）
flow_specter的博客
02-18 2144
文章目录概述网络结构特征提取网络代价空间可微分的argmin分层的Refinement损失函数实现细节实验数据和实验设置亚像素精度讨论 概述 论文链接： https://arxiv.org/pdf/1807.08865.pdf 作者单位： Google Inc. 被引： 161 tag： ECCV 2018 StereoNet是端到端的立体匹配网络中比较经典的方法，源于谷歌实验室，是2018年的ECCV。 StereoNet在Nividia Titan X上可以跑到60帧，可以归类于基于2D卷积的端到端
#每天一篇论文 269/365 ActiveStereoNet: End-to-End Self-SupervisedLearning for Active Stereo Systems
流浪机器人的博客
11-22 335
ActiveStereoNet:主动双目系统端到端自监督学习 https://blog.csdn.net/goodanchor/article/details/81557631
ActiveStereoNet: End-to-End Self-Supervised Learning for Active Stereo Systems
网瘾少年康复中心
08-17 1715
Network architecture Loss function 主要用的左图与reconstructioned的左图之间的差异，叫做photometric loss，然后亮处像素之间的差异一定会比暗的地方的差异大的。所以像素之间的residual是跟像素的亮度有关。 然而，亮度与视差实际上是不相关的。所以，需要消除亮度的影响。因为非监督里面，的确loss是像素之间的loss。 Wei...
5. Active and Volumetric Stereo【cs231a课程笔记】
qq_40166295的博客
01-18 783
文章目录5.1. Active stereo5.2. Volumetric stereo5.2.1. Space carving5.2.2. Shadow carving5.2.3. Voxel coloring 我们一般通过p和p‘使用三角剖分估计P的三维坐标，但问题在于怎么找到p对应的p’ 5.1. Active stereo 首先介绍active stereo主动立体视觉，帮助解决对应关系问...
三维视觉论文阅读：StereoNet2018双目立体匹配
Yan
01-04 2075
论文 StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction 摘要 双目立体匹配的计算效率一直是一个老大难，StereoNet在2018年提出了一个新的思路，即只用低分辨率预测视差图，然后不断用图片做导向滤波得到最终的高质量结果。 除此之外，本篇文章还分享了一些炼丹心得，也很有意思。 网络 StereoNet的网络结构还是非常简单的，大致上分成三部分，第一部分提取特征，第二部分视差计算，第三部分优
双目估计方法_双目深度估计中的自监督学习概览
weixin_39610721的博客
11-23 668
深度学习的蓬勃发展得益于大规模有标注的数据驱动，有监督学习（supervised learning）推动深度模型向着性能越来越高的方向发展。但是，大量的标注数据往往需要付出巨大的人力成本，越来越多的研究开始关注如何在不获取数据标签的条件下提升模型的性能，也就是自监督学习（self-supervised learning）/无监督学习（unsupervised learning）。对于立体匹配（st...
CVPR‘2023 | Nerf-Stereo: 利用NeRF来训练双目立体匹配网络的新范式！
最新发布
专注计算机视觉全栈知识分享
04-19 1148
论文提出了一个开创性的pipeline，利用NeRF来训练深度立体匹配网络，而不需要ground truth深度或立体摄像机。通过用一个低成本的手持相机捕捉图像，通过论文提出的NeRF-Supervised范式生成成千上万的立体对进行训练。这种方法导致了最先进的Zero-Shot泛化，超越了自监督和监督的方法。论文的工作代表了数据民主化的重大进步，将成功的关键交到了用户手中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值