《Unsupervised Learning of Depth and Ego-Motion from Video》读书笔记

最新推荐文章于 2024-08-21 09:52:58 发布
最新推荐文章于 2024-08-21 09:52:58 发布
阅读量3.5k 收藏 2
点赞数 1
分类专栏： 论文笔记 文章标签： 读书笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37251044/article/details/78577313
版权

原文：Unsupervised Learning of Depth and Ego-Motion from Video

实质：用单张图片推理场景结构：SfMLearner

相关作用：

针对端对端视觉里程计 ： 今年CVPR的 SfM-Learner。文章的核心思想是利用photometric consistency原理来估计每一帧的depth和pose。photometric consistency就是对于同一个物体的点，在不同两帧图像上投影点，图像灰度应该是一样的。各位回忆一下直接法SLAM的经典：LSD-SLAM (LSD-SLAM: Large-Scale Direct Monocular SLAM)，有没有感觉这篇文章的核心思路和LSD-SLAM如出一辙？本质都是优化photometric error。 来看看SfM-Learner的Loss（最终的Loss在此基础上做了优化），出自知乎。

他山之石：1. 用单张图片推理场景结构：UC Berkeley提出3D景深联合学习方法
2. UC伯克利联合谷歌推出无监督深度学习框架，模仿人眼实现视频中的自我运动认知
3. 专栏 | CVPR 2017 论文解读：基于视频的无监督深度和车辆运动估计

题目：基于视频的无监督深度和车辆运动估计

Jack_Kuo
关注
专栏目录
【SLAM系列】Unsupervised Learning of Depth and Ego-Motion from Video
weixin_43882112的博客
09-18 2413
文章目录1 概要2. Motivation3. 思想4. 算法5. 实验结果6. 总结与思考 1 概要 题目：Unsupervised Learning of Depth and Ego-Motion from Video 论文：https://people.eecs.berkeley.edu/~tinghuiz/projects/SfMLearner/cvpr17_sfm_final.pdf 代码： 2. Motivation 3. 思想 4. 算法 5. 实验结果 6. 总结与思考 参
论文笔记：Unsupervised Learning of Depth and Ego-Motion from Video
weixin_46776144的博客
03-07 3596
无监督学习的视频图像深度和运动估计 参考文章：https://blog.csdn.net/weixin_42113967/article/details/115732187 摘要：作者提出了一种无监督学习框架，提出了一个单目相机的序列图像进行深度估计与运动估计。使用端到端学习方法，将视图合成作为监督信号。方法使用单视图深度网络和多视图位姿网络，利用计算的深度和位姿，将附近的视图warp到目标，从而产生损失。 方法：depth network和posenetwork共同训练的架构模式e 核心： .
SfMLearner 开源项目教程
最新发布
gitblog_00951的博客
08-21 324
SfMLearner 开源项目教程 SfMLearnerAn unsupervised learning framework for depth and ego-motion estimation from monocular videos项目地址:https://gitcode.com/gh_mirrors/sf/SfMLearner 项目介绍 SfMLearner 是一个开源项目，由 Tin...
Unsupervised Learning of Depth and Ego-Motion from Video
qq_45580233的博客
11-08 764
文章目录Unsupervised Learning of Depth and Ego-Motion from Video一、介绍二、相关工作从运动恢复结构（SFM）基于扭曲的视图合成从注册的2D视图学习单视图3D从视频中进行无监督/自监督学习三、方法3.1 用综合作监督3.2 可微分的基于图像的深度渲染3.3 建模模型限制3.4 克服梯度局部化3.5 网络架构单视图深度位姿可解释性掩模四、实验五、议论 Unsupervised Learning of Depth and Ego-Motion from Vi
单目深度估计论文(6）— Unsupervised learning of depth and ego-motion from video (CVPR 2017)
smallEngineer的博客
05-02 721
利用视频进行无监督单目深度估计 [1] Zhou T, Brown M, Snavely N, et al. Unsupervised learning of depth and ego-motion from video[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1851-1858.
Unsupervised Learning of Depth and Ego-Motion from Video论文见解
qq_37748370的博客
02-12 786
Unsupervised Learning of Depth and Ego-Motion from Video 论文见解 摘要 这篇文章提出了一种学习框架：从视频序列中估计图片的深度和相机的Pose。用到的是端到端的学习方法。它是把视图合成作为监督信号的；所以是无监督的。用depth和pose来进行wrapping；然后再用真实的图片和wrapping出来的图片做Loss.以此来训练模型。 方法...
论文笔记-深度估计(6)-Unsupervised Learning of Depth and Ego-Motion from Video
一只飞鱼的博客
01-03 9480
CVPR2017_Unsupervised Learning of Depth and Ego-Motion from Video 这是一篇从一段视频中恢复场景深度和相机pose的论文。 他可能是第一篇用深度学习的方法从一段视频中恢复camera的pose的方法，它用两个网络（严格意义上是3个网络，下文赘述）分别/独自无监督地估计单帧的深度，和视频序列中的camera的pose变化。最终得到的
【三维成像入门论文学习笔记】一、Unsupervised Learning of MonoDE and Visual Odometry with Deep Feature Reconstruction
Jackkii的博客
02-24 923
论文全名：Unsupervised Learning of Monocular Depth Estimation and Visual Odometry with Deep Feature Reconstruction 基于深层特征重构的单目深度估计和视觉里程计的无监督学习 原文链接：https://arxiv.org/pdf/1803.03893.pdf 开源代码：https://github....
《Unsupervised Scale-consistent Depth ...》论文笔记
m_buddy的博客
02-26 993
这篇笔记是关于3篇文章的合集，它们分别是： 《Unsupervised Scale-consistent Depth and Ego-motion Learning from Monocular Video》 《Unsupervised Scale-consistent Depth Learning from Video》 《Auto-Rectify Network for Unsupervised IndoorDepth Estimation》 参考代码： SC-SfMLearner-Release
Self-supervised Learning of Motion Capture阅读笔记
qq_40045309的博客
05-04 1681
备注： 1.作者 Hsiao-Yu Fish Tung，Katerina Fragkiadaki 卡耐基梅隆大学 一、概述 1. abstract （1） 跟直接优化mesh and skeleton 的参数不一样的是，我们通过优化网络的权重来预测一个 monocular RGB video中的3D shape and skeleton 的配置； （2） 模型采用end-to-end ...
论文笔记_S2D.49_2017-CVPR_从视频中无监督学习深度和运动估计(SFMLearner)
惊鸿一博
11-27 816
基本情况 论文：Unsupervised Learning of Depth and Ego-Motion from Video 出处：Zhou T, Brown M, Snavely N, et al. Unsupervised learning of depth and ego-motion from video[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 1851-
单目深度估计论文翻译（一）之Unsupervised Learning of Depth and Ego-Motion from Video
excellent_sun的博客
04-19 1520
单目深度估计论文翻译（一）之Unsupervised Learning of Depth and Ego-Motion from Video摘要1.简介2.相关工作3.方法 摘要 我们提出了一种无监督学习框架，用于从非结构化视频序列中进行单眼深度和相机运动估计。与最近的工作[10,14,16]一样，我们使用端到端学习方法，将视图合成作为监督信号。与之前的工作相比，我们的方法完全没有监督，只需要单眼...
【论文精读】SfMLearner——《Unsupervised Learning of Depth and Ego-Motion from Video》
weixin_53215555的博客
10-06 2883
SFMlearner
论文笔记 Unsupervised Learning of Depth and Ego-Motion from Video
weixin_43886134的博客
06-04 466
2017 CVPR 概述 提出了一个从非结构化的视频序列中估计单目深度和相机运动的无监督的学习框架。方法建立在只有场景几何和相机姿势的中间预测与真实相对应时，几何视图合成系统才能始终表现良好，因此将整个视图合成pipeline定为CNN。用KITTI数据集训练，在Make3D数据集上评价泛化能力 假设： 1）场景是静止的没有移动的物体 2）目标视图和源视图之间没有遮挡物和去除遮挡物 3）表面是朗伯曲面，因此一致性误差有意义 系统优势： 1）单目深度的表现和使用真值姿势或深度进行训练的有监督方法相当 2）在
(2017)Unsupervised Learning of Depth and Ego-Motion from Video
weixin_43985824的博客
08-29 219
我们提出了一种，用于从中估计单目深度和摄像机运动。与最近的工作[10,14,16]一样，我们使用，将作为。与之前的工作相比，我们的方法是完全无监督的，只需要进行训练。我们的方法使用和，使用将上，从而。因此，网络在训练期间通过，但可以在测试时独立应用。对KITTI数据集的经验评估证明了我们的方法的有效性:1)，2)在可比较的输入设置下，姿态估计与已建立的SLAM系统相比表现良好。
SfMLearner论文笔记——Unsupervised Learning of Depth and Ego-Motion from Video
weixin_30535167的博客
05-30 847
1. Abstract 提出了一种无监督单目深度估计和相机运动估计的框架 利用视觉合成作为监督信息，使用端到端的方式学习 网络分为两部分（严格意义上是三个） 单目深度估计 多视图姿态估计 解释性网络（论文后面提到训练了第三个网络） 2. Introduction 计算机几何视觉难以重建真实的场景模型 由于非刚性、遮挡、纹理缺失等情况的存在 人类在很短的时刻可以推断自我运动以及三维...
Unsupervised Learning of Depth and Ego-Motion from Video 开源代码SfMLearner 运行实录
zxcqlf的博客
03-22 2030
1、简介 文章：2017_CVPR_Unsupervised Learning of Depth and Ego-Motion from Video 代码下载：SfMLearner 2、代码运行记录 基本可以依据作者readme.md文件所述步骤执行；以下是本人在运行过程中遇到的一些问题； 系统配置：Python3+TensorFlow1.9.0+cuda 9.0 （1）demo 运行...
论文笔记：Unsupervised Learning of Depth and Ego-Motion from Video（无监督深度预测系列4：PoseCNN方法）
upup
06-25 1665
一、基本信息 标题：Unsupervised Learning of Depth and Ego-Motion from Video 时间：2017 论文领域：深度预测、深度学习 引用格式：Zhou T, Brown M, Snavely N, et al. Unsupervised learning of depth and ego-motion from video[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern
论文复现：Unsupervised Learning of Depth and Ego-Motion from Video（SfMLearner）
upup
06-27 1380
期末作业最后一天，实验总算有点进展，记录下配置过程 环境 项目地址：https://github.com/tinghuiz/SfMLearner GPU：GTX 950M 系统： Win 10 python：3.5 建议使用conda 创建虚拟环境 tensorflow-gpu：1.2.1 pip install tensorflow-gpu==1.2.1 -i https://mirrors.aliyun.com/pypi/simple/ 项目主页标的1.0，直接安装1.0会报错：ValueError:
unsupervised learning of strctured representations via closed-loop
09-16
封闭回路的无监督学习结构化表示 封闭回路的无监督学习结构化表示是一种机器学习方法，旨在通过建立闭环反馈以自动地学习数据之间的结构化表示。在无监督学习中，我们通常没有标签的辅助信息，因此要求模型能够从数据中自动发现隐藏的结构和模式。 封闭回路的无监督学习方法的关键思想是通过对模型输出和输入进行比较来进行训练。在这个闭环中，模型的输出被重新注入到模型的输入中，从而形成了一个持续的迭代过程。模型通过调整自身的参数来最小化输入和输出之间的差异，以此来改善所学到的表示。 使用封闭回路进行无监督学习的一个例子是自编码器。自编码器是一种神经网络模型，它的输入和输出都是相同的。模型的目标是通过学习如何将输入编码为一个低维的表示，并且能够从这个低维表示中重构出输入。在训练过程中，自编码器通过最小化输入和重构输出之间的差异来调整自身的参数。 封闭回路的无监督学习方法有许多优点。首先，由于无需标签，这种方法可以适用于大量未标记的数据。其次，学习到的结构化表示可以用于许多任务，如数据压缩、降噪、特征提取等。此外，通过引入封闭回路，模型可以在训练过程中不断自我纠正，从而改善表示的质量。 总之，封闭回路的无监督学习方法通过建立闭环反馈来自动地学习数据之间的结构化表示。该方法可以应用于无标签数据，并且通过迭代过程来不断改善所学到的表示。这种方法在很多任务中都具有广泛的应用前景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值