DMCP：Multi-Camera Collaborative Depth Prediction via Consistent Structure Estimation

于 2023-08-09 00:23:34 发布
阅读量175 收藏
点赞数
分类专栏： BEV Perception # Depth Estimation 文章标签： 自监督深度估计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m_buddy/article/details/132138377
版权

参考代码：MCDP

介绍

这篇文章对于多视图自监督深度估计在不同相机下的深度表达构建一致性约束，其建立约束的信息来自于相邻相机之间的视角重叠区域，如下图所示
在这里插入图片描述
依据这些区域可以在loss端通过不同相机之间标定外参构建不同视角之间的深度约束关系，也就是周围相机预测出的深度经过投影之后应该和目的相机的深度值差异最小化。

除了在loss层面上对不同视角下深度构建约束之外，还在特征表达的维度在channel层次上对初次深度估计结果进行加权，使得深度表达具备更强表达能力，也使得可以通过迭代优化加权系数的方式级连优化深度估计结果。

不过在文章的消融实验中并没有去对比特征维度和loss维度这俩分别对深度一致性的贡献大小，在经典自监督深度估计中也会采用多尺度估计，要是再加上loss维度的约束，也可以看作是一种级连优化。

方法设计

深度加权因子的迭代更新

这里将网络最后生成结果描述为初次深度估计结果与加权系数叠加的形式，然后在不同的迭代轮次中不断去优化这个加权系数，而这个初次深度估计结果不变化。也就是对应下图中的迭代
在这里插入图片描述
那么为了使得深度加权的权重跟随相邻视角信息而发生变化，那么就需要将这俩的信息进行融合，这部分是通过集合位置warp的形式对齐到目的特征图上，也就是文中说的相机1和相机2的warp操作。对齐之后的特征cat起来去更新加权系数，它的结构也就是下图中的样子：
在这里插入图片描述

深度一致性约束loss

在下图中可以看到左右视图和中间视图它们之间是存在交叠区域的，那么可以通过warp的方式将左右视图的深度估计结果对齐到中间视图，也就是下图中的样子
在这里插入图片描述
上面的步骤是深度对齐，对齐之后的深度结果应该和中间视图自身估计出来的深度一致，那么就可以使用L1损失函数去约束使得它们的差异最小化。

下图展示了使用文章的方法在不同视角下深度估计的结果，可以看到添加这个约束之后不同视角下深度差异较大的情况有所缓解
在这里插入图片描述

3. 实验结果

在这里插入图片描述

m_buddy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在 ROS 中让 orbslam3 使用 realsense 库和 D455 multi camera 多相机
我才是一卓的博客
05-15 616
配置文件，编译运行即可。
超全 | 基于纯视觉Multi-Camera的3D感知方法汇总！
CV_Autobot的博客
09-13 1956
近两年，基于纯视觉BEV方案的3D目标检测备受关注，all in one方式，确实能将基于camera的3D检测算法性能提升一大截，甚至直逼激光雷达方案，这次整理了领域中一些备受关注的multi-camera bev纯视觉感知方案，包括DETR3D、BEVDet、ImVoxelNet、PETR、BEVFormer、BEVDepth、BEVDet4D、BEVerse等！
【论文笔记】2022-CVPR-深度估计
暴雨梨花博客
04-04 7153
2022-CVPR-深度估计 文章目录2022-CVPR-深度估计0. 摘要1. 介绍2. 相关工作3. 系统3.1 硬件3.2 深度估计流程3.3 单目结构光3.4 立体匹配网络与融合策略4. 实验4.1 原型4.2 数据集与评估指标4.3 定量估计4.4 定性分析4.5 限制5. 结论 题目：Depth Estimation by Combining Binocular Stereo and Monocular Structured-Light 地址：https://arxiv.org/pdf/220
CCF A类会议或期刊----多视图，多模态近两年论文
Thincor的博客
03-15 6080
会议/期刊 论文 neurips2020 Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies. neurips2020 Labelling unlabelled videos from scratch with multi-modal self-supervision. neurips2020 A Contour Stochastic Gradient ....
计算机视觉论文-2021-06-29
中科院AI算法工程师的博客
06-30 2484
本专栏是计算机视觉方向论文收集积累，时间：2021年6月29日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:The Deep Neural Network Based Photometry Framework for Wide Field Small Aperture Telescopes AUTHORS: Peng Jia ; Yo...
CCF A类会议或期刊----近两年自监督相关论文
Thincor的博客
03-19 5255
会议/期刊 论文 neurips2020 Self-Supervised MultiModal Versatile Networks. neurips2020 Self-Supervised Relationship Probing. neurips2020 Cross-lingual Retrieval for Iterative Self-Supervised Training. neurips2020 Adversarial Self-Supervised Contrast....
计算机视觉论文-2021-05-27
中科院AI算法工程师的博客
05-27 796
本专栏是计算机视觉方向论文收集积累，时间：2021年5月11日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Multiple Domain Experts Collaborative Learning: Multi-Source Domain Generalization For Person Re-Identification A...
CVPR学习（三）：CVPR2019－各个方向
TheDayIn_CSDN的博客
06-28 4512
一、各个方向 视频人体骨架跟踪 【1】Learning Regularity in Skeleton Trajectories for Anomaly Detection in Videos 论文地址：https://arxiv.org/abs/1903.03295 野外人群计数 【2】Learning from Synthetic Data for Crowd Counti...
CVPR 2018 paper ---object detection
weixin_37160065的博客
10-20 7762
转载：https://blog.csdn.net/qq_34848537/article/details/82968217 参考链接 CVPR 2018 论文解读集锦（9月27日更新） CVPR 2018 open access 关键词搜索： “Object Detection ”list  Scale-Transferrable Object Detection Progressiv...
A multi-strategy collaborative prediction model for the runtime of online tasks in computing cluster/grid
02-21
An efficient function of a complicated or dynamic high performance computing environment requires the scheduler to dispatch the submitted tasks according to the identification of the idling resources....
Multi-node Collaborative Watermark Scheme to Filter Injected False Data in Wireless Sensor Networks
02-11
Multi-node Collaborative Watermark Scheme to Filter Injected False Data in Wireless Sensor Networks
CMO Council：The-Exponential-Power-of-Collaborative-Marketing.pdf
最新发布
09-01
CMO Council：The-Exponential-Power-of-Collaborative-Marketing
matlab分时代码-online-collaborative-prediction:VincentEtter，MohammadEmtiyaz
05-21
该存储库包含该论文中使用...Collaborative Prediction of Regional Vote Results", booktitle = "Proceedings of the 3rd IEEE International Conference on Data Science and Advanced Analytics", series = "DSAA
verhulst模型matlab代码-cil-collaborative-filtering:cil-协同过滤
06-08
verhulst模型matlab代码快速开始： 为 SGD+ 模型运行python train.py ，为具有神经后处理的模型运行python train.py python train.py --model=SGDnn ...提交文件将写入提交文件夹。...推荐系统关注呈现用户可能感兴趣的...
《Robust Consistent Video Depth Estimation》论文笔记
m_buddy的博客
07-02 5367
主页与代码地址：robust_cvd 1. 概述 导读：这篇文章的目的是为了在视频场景下生成稳定的深度估计结果，其提出的算法可以在一个单目视频中估计出一致的深度图和相机位姿。文章首先会使用MiDas为视频中的单帧图像做初始深度估计（主要用于提供深度scale参数），以及使用Ceres Library上计算相机的初始位姿信息。之后再在输入的视频序列上使用在线finetune形式交替进行深度估计结果与相机位姿优化。在上面的finetune优化中使用到了一个几何优化过程去生成稳定平滑地相机移动轨迹（表征为相机关
深度估计 ManyDepth 笔记
m_buddy的博客
06-01 4756
参考代码：manydepth 论文名称：The Temporal Opportunist: Self-Supervised Multi-Frame Monocular Depth 1. 概述 导读：这篇文章借鉴了多视图深度估计中的cost-volume方法（参考：cost-volume概念），并将其引入到单目的自监督深度估计网络中。这里将原来的双目图像换成了一对前后帧图像，从而去构建cost-volume克服之前的单目深度估计中的scale ambiguity问题。此外，为了克服单目情况下cost-vol
《MonoIndoor：Towards Good Practice of Self-Supervised Monocular Depth Estimation...》论文笔记
m_buddy的博客
03-22 4541
参考代码：None 1. 概述 介绍：经典的自监督深度估计方法已经在KITTI数据集上取得了较为不错的效果，但是在一些室内或是相机能够自由移动（KITTI场景下相机固定在车上）的场景下，现有的经典自监督深度估计算法就出现了问题。这篇文章研究的便是这些场景下的自监督深度估计，在该文章中指出自监督深度估计在这些场景下性能出现较大幅度下降是因为如下两点原因： 在这些场景下深度的范围是变化比较大的，特别是在一些室内场景下，随着视角的变化图像中深度的范围会存在较大范围变化。而在KITTI的场景下最远处是天空其深度
《NeW CRFs：Neural Window Fully-connected CRFs for Monocular Depth Estimation》论文笔记
m_buddy的博客
04-26 3562
参考代码：NeWCRFs 1. 概述 介绍：在这篇文章中对单目有监督深度估计算法提出了新的解码单元，该解码单元设计的灵感源自于CRFs（Conditional Random Fields）和Swin-Transformer。首先，在该解码单元中在local-window（文中也将其称之为N∗NN*NN∗N个patch的组合）中计算CRFs，这样可以显著减少因全局CRFs带来的计算量巨大问题，这是基于深度本身也存在一定的局部信息依赖性，同时也引入shift-window用于关联不同的local-window
GCoNet+: A Stronger Group Collaborative Co-Salient Object Detector
04-08
GCoNet is a group collaborative co-salient object detector that has been shown to outperform previous methods in detecting salient objects in images. Would you like me to provide more information ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值