基于Monodepth2模型进行单目图像序列视觉深度估计训练实验

已于 2023-06-05 09:05:16 修改
阅读量226 收藏
点赞数 2
分类专栏： 小P学长编程分享 文章标签： 计算机视觉 人工智能
于 2023-06-03 13:12:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_77854234/article/details/131020154
版权

这是单目图像序列中的某一图像帧

429068a67d7041b5a62bebd628c40bd2.png

 下面是KITTI训练得到的参数模型预测结果

128d8edcdbd34b92bd2555b8d0ec26df.jpeg

可以看到图中箭头标识处以及其他很多地方预测效果都很一般，细节处很多错误

下面是再训练得到的结果

4fd5bd0e3d484fd6b9ebf4ff4c6bf0e7.png

 可以看到对于场景细节深度预测达到了更好的效果

公众号分享代码了

 

 

 

 

小P学长
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Monodepth2单目深度模型的训练————（训练方式一：单目帧序列训练）
qq_41641044的博客
09-22 8496
笔者从事于cv视觉深度的相关研究，在cv的单目视觉深度模型中，monodepth2有一个相对较好的深度效果，但是论文作者就提供了关于KITTI的预训练模型，没有提供如何就自定义的数据集进行训练的详细细节。所以，在阅读了monodepth2源码的基础上，给大家讲讲如何用自己的数据集把monodepth2跑起来。 我使用的是超算的linux操作系统，训练平台为Tesla_V100。由于我采集1920*1080单目帧序列作为数据集，按照模型默认batchsize=12往超算里面送的时候提示显存不够...
monodepth2训练细节
qq_41641044的博客
12-04 3958
当我们自己采集视频作为训练集的时候要注意对帧序列进行采样，每间隔十张抽取一张形成数据集，如果把视频所有帧都送进去训练得到的效果会很差，主要是因为重投影误差是在当前帧跟前后帧之间计算的，如果当前帧和前后帧之间的位移太小就相当于同一张图片了，模型很难学到相应的深度信息 ...
深度估计自监督模型monodepth2在自己数据集的实战——单卡/多卡训练、推理、Onnx转换和量化指标评估
苹果姐计算机视觉原创知识分享
01-28 5935
monodepth2实战
双目测距系列（六）monodepth2的三种训练方式
ltshan139的专栏
05-04 4839
前言 monodepth2有三种训练方式，其对应的命令如下： 下面分别对这三种训练模式进行较详细解释 ： 1）单目训练 monocular是单目的意思，而双目的英文则是binocular。现在基于深度学习方法对单目图像重构出三维世界非常流行。我个人觉得这里面的基础理论是SFM（structure From Motion）。直白讲，它是依靠运动视频的图像帧序列来进行三维重建。其优势很明显...
Monodepth2网络论文解析即训练总结
weixin_43941538的博客
03-30 1815
1. 亮点 最小重投影loss-处理遮挡问题 全分辨率多尺度采样-减少视觉伪影 auto-masking loss-忽略违反相机运动假设的像素 2. loss 2.1 重投影误差
基于双目视觉RGB图像序列和深度信息进行的3D场景重建matlab仿真
11-01
1.版本：matlab2021a，包含程序仿真操作录像，可以跟着操作出仿真结果 ...3.内容：基于双目视觉RGB图像序列和深度信息进行的3D场景重建matlab仿真,输入双目相机拍摄的图片序列和深度图，得到重建的三维场景。
基于单目序列图像的车辆三维信息的获取
01-28
本文介绍了一种基于单目序列图像的车辆三维信息的获取方法。在获取交通视频的基础上，根据摄像机的线性成像模型，对摄像机参数进行标定，建立空间中点与图像上点的映射关系。利用空间中点到图像上点的投影关系，以及...
基于SVM模型的单目红外图像深度估计
05-26
实验结果显示，该模型能相对一致地估计单目红外图像的深度信息。这表明，尽管只有一幅图像，但通过有效的特征选择和非线性学习，可以有效地推断出图像的深度。与传统的由阴影恢复形状算法相比，该方法减少了对先验...
论文研究-单目序列图像的运动目标参数估算新方法.pdf
09-11
可疑运动目标的检测和参数估算是智能视频监控的关键。为克服传统计算机双目技术系统复杂等缺点，提出一种单目运动目标识别技术并估算目标运动参数的方法。利用几何成像原理，推导出运动目标与固定摄像机的实际水平距离和目标在二维图像中的位置之间数学模型，结合摄像机参数，估算出目标实际位置及运动速度。通过搭建的硬件平台和编写的测试软件，在实际码头对海面目标的参数估计进行了实验，结果显示了该方法简单、有效和可行。
从单个图像进行单眼深度估计-Python开发
05-25
Monodepth2这是用于训练和测试深度估计模型的参考PyTorch实施，使用挖掘为自我监督的单眼深度预测ClémentGodard，Oisin Mac Aodha，Monodepth2中描述的方法，这是使用PyTorch的参考PyTorch实施，用于训练和测试深度估计模型挖掘到自我监督的单眼深度预测ClémentGodard，Oisin Mac Aodha，Michael Firman和Gabriel J.Brostow ICCV 2019中描述的方法 请参阅许可文件中的条款。 如果您发现我们的工作对您的研究有用，请考虑引用我们的论文：@article {monodepth2，title = {
基于双向递归卷积神经网络的单目红外视频深度估计
02-12
考虑到红外视频的深度特征具有单帧图像的独特性和视频全局的连续性, 在单目红外视频深度估计问题上提出一种基于双向递归卷积神经网络(BrCNN)的深度估计方法。BrCNN在卷积神经网络(CNN)能够提取单帧图像特征的基础之...
基于monodepth2的单目深度估计自建数据集实验训练步骤
2301_77854234的博客
06-03 1953
2、因为项目要求图像分辨率长宽应该是32的倍数，所以你录制的视频分辨率如果达不到这个要求的话，需要再进行裁剪，同时为了使模型能跑的起来跑快点，建议你再将高分辨率的图像进行裁剪。4、使用picturepath.py生成train_files.txt文件和val_files.txt文件，替代原来splits/eigen_zhou目录下的文件。7、训练完成后，依据readme中的命令行对图像进行预测看结果，这个预训练参数模型再训练的预测结果，应该是在相关数据集上的效果明显优于KITTI预训练模型。
monodepth2训练时遇到的问题
abc20150125的博客
03-28 411
monodepth2复现
monodepth-pytorch代码实现学习笔记（二）
caikw62的博客
02-29 2908
monodepth-pytorch代码实现学习笔记（二）前言三、模型建立1. Unet模型机构2. conv模块3. resblock_basic模块4. resconv_basic模块5. upconv模块6. get_disp模块四、loss函数五、main函数总结 前言 接上一篇博文，本篇博文介绍3-5部分内容 三、模型建立 算法采用encoder-decoder实现深度估计，默认模型基础为...
monodepth2不同种类数据集训练结果比对
2301_77854234的博客
06-04 378
monodepth2不同种类数据集训练结果比对
单目图像深度估计——Monodepth2
weixin_46591090的博客
06-21 9023
Monodepth2使用卷积神经网络来实现无监督单目图像深度估计，通过训练模型所输出的深度图像来反映场景下的三维信息。所使用的神经网络框架主要分为两部分：深度网络和位姿网络，深度网络使用编码和解码的结构，通过特征提取并进行整合可以直接输出目标视图的深度图像，位姿网络通过目标视图和上一帧视图计算出相机位姿的变化。通过目标视图的深度图像和相机位姿变化参数对目标图像进行重建。结合重投影误差和图像边缘平滑度来构造损失函数，通过损失函数来反向传播更新模型参数，优化训练网络模型。...
双目估计方法_强大的自监督深度估计monodepth2
weixin_39949673的博客
11-23 770
monodepth2是本人比较喜欢的一篇文章，目前自监督深度学习取得最好进展的地方，一般说来自监督不需要标注，使用内在几何（通常是多视图几何）关系监督学习，从另一个侧面说明3d视觉才是视觉的本质。文献[1]中的作者开发了一种方法，该方法使用深度估计和姿态估计网络的组合来预测单帧图像中的深度。 它通过在一系列运动的图像（包括单目和双目）序列上训练一个建立在自监督损失函数上的架构来实现,这一架构包括两...
国外项目管理软件最佳实践：选型与应用
最新发布
柚橙论
08-13 972
在选择适合自己团队的项目管理软件时，了解各种工具的功能、优势和适用场景至关重要。从Asana的灵活性到Trello的直观看板，再到Monday.com的强大定制功能，每款软件都有其独特之处，可以满足不同类型项目和团队的需求。通过本文的介绍，希望您能对这些工具有了更深入的了解，并能够根据自己的实际需求做出明智的选择。无论您的团队规模如何，选择正确的项目管理工具都将是提升工作效率和项目成功率的关键一步。在数字化快速发展的今天，利用合适的项目管理软件，不仅可以优化工作流程，还可以激发团队潜力，推动业务持续发展。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小P学长

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值