AAAI无监督单目视频深度学习的结构化方法(论文 学习&翻译 笔记)

最新推荐文章于 2024-03-21 22:22:19 发布
最新推荐文章于 2024-03-21 22:22:19 发布
阅读量2k 收藏 4
点赞数 2
分类专栏： 笔记 文章标签： 论文学习 单目深度 无监督
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43225437/article/details/87883341
版权

2019:Depth prediction without the sensors:leveraging structure for unsupervised learning from monocular videos

无传感器的深度估计：单目视频无监督深度估计的结构化方法==
原文
源代码

学习笔记

简介
本文实现的是对单目视频进行深度估计，主要方法是将场景中相应的运动建模为独立变换，然后用其对 3D 几何建模，并估计所有目标的运动。通过将场景分解为 3D 和单个目标，可以更好地学习场景中的深度和自我运动，尤其是在动态场景下物体的深度。
在这里插入图片描述

相关函数
输入为一组RGB图像序列（至少3张图片）
1、depth function：用来从单帧图像中生成深度图
在这里插入图片描述
在这里插入图片描述
2、ego-motion: 用来生成两帧图像之间的 SE3 变换
在这里插入图片描述
在这里插入图片描述
3、warping operation：用来通过 i 帧图像生成 j 帧的图像
在这里插入图片描述
total loss：
在这里插入图片描述
Lrec为图像重建损失，加上 SSIM 损失，以及图像平滑损失。
在这里插入图片描述
Motion Model
将场景中可能移动的目标单独的建立3D模型，并且学习估计目标的运动，在对可能的移动目标进行建模的时候就需要除去静态的部分，这里作者对所有的静态场景定义了一个 binary mask：
在这里插入图片描述
这时候的自我运动的模型则直接使用使用静态场景进行估计：

最低0.47元/天 解锁文章
le_sheng
关注
专栏目录
单目深度估计的新突破（论文复现）
wei_shuo的博客
09-29 1079
单目深度估计的新突破（论文复现）
深度学习三维重建 笔记总结 问题总结 MVSNet系列最新顶刊 对比总结 （近20篇）
程序员，他们想的是什么?他们想的永远都是技术，他们崇尚的也永远都是技术。
09-03 667
MVSNet(CVPR-2018)，RMVSNet(CVPR2019)，PointMVSNet(ICCV2019),P-MVSNet(ICCV2019)，MVSCRF(ICCV2019)，Cascade(CVPR2020),CVP-MVSNet(CVPR2020)，Fast-MVSNet(CVPR2020)，UCSNet(CVPR2020),CIDER(AAAI2020)，PVAMVSNet(ECCV2020)，D2HC-RMVSNet(ECCV2020)，Vis-MVSNet（BMVC 2020），AA-
Python-MonoDepthPyTorchPyTorch无监督单目深度估计
08-11
MonoDepth-PyTorch - PyTorch无监督单目深度估计
谷歌提出新方法：基于单目视频的无监督深度学习结构化
cpongo5
12-03 548
AI前线导读：近日，谷歌大脑团队提出一种结构化方法从单目视频中进行无监督学习，获得了较高质量的场景深度和自运动预测。同时，结合在线学习算法，该方法可以进行跨域迁移，在与训练数据库差距较大的数据库上获得可观的表现。感知场景的深度是自主机器人的一项重要任务：准确估计物体离机器人的距离的能力对于躲避障碍、安全规划和导航至关重要。虽然可以从传感器数据（例如LIDAR）中获得（和学习）深度，但是也可以用无监...
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular
sky的博客
12-23 1461
2018.11 1.Institute for Applied Computational Science 2.Harvard University3.Google Brain 代码：https://sites.google.com/ view/struct2depth. 论文：https://arxiv.org/pdf/1811.06152.pdf 摘要： 对...
深度学习之单目深度估计：无监督学习篇
3D视觉工坊
06-22 3348
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者：桔子毛https://zhuanlan.zhihu.com/p/29968267本文仅做学术分享，如有侵权，请联系删除。Pre...
论文笔记-Depth Prediction Without the Sensors
kingsleyluoxin的博客
08-20 591
论文信息 标题： Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos 作者：Vincent Casser, Soeren Pirk, Reza Mahjourian, Anelia Angelova 机构：Harvard University; Google Brain; University of Texas at Austin 出处：AA..
"DeFeat-Net: 无监督表示学习和鲁棒深度估计的跨域网络
Net: 通过同时无监督表示学习进行通用单目深度估计0Jaime Spencer, Richard Bowden, Simon Had�eldSurrey大学视觉、语音和信号处理中心（CVSSP）0摘要0在当前的单目深度研究中，主流方法是在大规模数据集上...
准博士生教你如何阅读论文
qq_39568387的博客
01-05 1019
如何入门科研，从读好一篇文章开始！手把手教你如何做好科研。
无监督注视表示学习的交叉编码器的研究及其在凝视估计中的应用
3702用于无监督注视表示学习的交叉编码器孙云佳1、2，曾佳蓓1，石光山1、2，陈西林1、21中国科学院智能信息处理重点实验室，中国科学院计算技术研究所，北京1001902中国科学院大学，北京100049{sunyunjia18z，jiabei...
无监督深度估计论文阅读
SHS_JAVA的博客
03-08 1209
Unsupervised Monocular Depth Estimation with Left-Right Consistency   这篇文章可以看做时无监督深度估计的里程碑之作，主要思想是针对于一个双目摄像头左图与右图相互递归，实现网络的训练过程，由于视差图与深度图互为倒数，所以可以通过得到视差图的方法来得到深度图。 以下这一段是一个博主的解释原文链接   这种方法的大体思路是这样的，首先我假设有一个双目摄像头，我将双目摄像头的左图作为整个网络的输入，经过一个卷积神经网络我的输出是两张分别对应双目摄
深度学习用于语义分割
06-20
随着深度学习的发展，深度学习也可以用于语义分割。深度学习在语义分割中的应用报告。
SASSD
xinxiang7
02-20 1766
Structure Aware Single-stage 3D Object Detection from Point Cloud 文章：SA-SSD 代码：SA-SSD 这是来自香港理工大学和达摩院的一篇文章，一作是为在读的博士生，何晨航。通讯作者是张磊，香港理工大学的博导，目前在达摩院。华先胜达摩院的的人，也是为大牛。 Abstract 提出问题： 目前的单级探测器通过完全卷积方式逐步缩小三维点云是有效的。但是缩小特征不可避免的损失空间信息和无法充分利用3D点云的结构信息，降低了位置精度。 文章工作：
解读：Structure Aware Single-stage 3D Object Detection from Point Cloud
weixin_42608406的博客
10-22 782
文章目录1.前言2.摘要3.Introduction4.网络结构4.1.Backbone and detection networks4.2.Detachable auxiliary network4.3.Part-sensitive warping4.4.Loss 1.前言 从点云数据检测3D对象在自动驾驶中起着至关重要的作用。通过以完全卷积的方式逐步缩小3D点云的尺寸，当前的单级检测器非常有效。但是，缩小的特征不可避免地会丢失空间信息，并且无法充分利用3D点云的结构信息，从而降低了其定位精度。 2.摘
【深度估计】单目深度估计
星辰不问
03-02 8883
【深度估计】单目深度估计
单目深度估计：从理论到实践
最新发布
qq_39931336的博客
03-21 1512
深度指的是物体表面到观察者（例如摄像头）的距离。在计算机视觉中，我们通常用深度图来表示这种距离信息，其中每个像素的值对应于场景中某一点的深度值。
低成本测距方案--单目深度估计
小白学视觉
06-18 3589
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达文章导读导读：随着计算机视觉技术的不断发展，特别是自动驾驶等一些前沿的研究中，图像的深度信息至关重要。而单目测距得益于低成本的特性，受到了研究者们的青睐。小编最近也在学习单目测距的知识，与大家分享一篇BTS的单目测距方法，让我们一起来学习一下。Part 01单目和双目测距原理的区别单目和双目是二种不同形式的摄像头，他们都能够通过...
Leveraging Structure for Unsupervised Learning from Monocular Videos(2018.11)
sky的博客
03-31 466
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos 摘要： 以单目视频流为监督信号，用无监督方法对场景深度和机器人自运动进行学习，因为相机是在机器人领域最便宜且约束最少普及度最高的传感器。 本方法可以对移动物体进行建模，并且可以...
低成本测距方案—单目深度估计
qq_29462849的博客
09-22 3053
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达文章导读导读：随着计算机视觉技术的不断发展，特别是自动驾驶等一些前沿的研究中，图像的深度信息至关重要。而单目测距得益于低成本的特性，...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值