SurroundDepth拜读:自监督环视多相机深度估计

CVPR2022:SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation
Code:https://github.com/weiyithu/SurroundDepth

论文提出了SurroundDepth,将来自多个周围视图的信息合并到一起,以预测摄像头之间的深度图,具体地说:

  • 使用一个联合网络(joint network)来处理所有周围的视图
  • 并提出了一个交叉视图转换器(cross-view transformer)来有效地融合来自多个视图的信息、全局交互
  • 给定多摄像机外部矩阵( extrinsic matrices)、采用SFM(structure from motion)的稀疏深度来预训练模型,以预测真实世界的尺度
  • 估计车辆的整体自我运动(universal ego-motion),并将其传输到每个视图,以实现多视图一致性

解决痛点:

  • 尽管现代自动驾驶汽车通常配备多个摄像头来拍摄360度全景,现有的大多数方法仍然侧重于从单目图像预测深度图,而忽略了周围视图之间的相关性
  • 由于时间光度一致性(temporal photometric consistency)只能推断相对尺度,这些自监督单目深度估计方法无法产生尺度感知深度。然而,由于多摄像机外部矩阵中的平移向量获得了真实世界的尺度,因此可以获得尺度感知预测。

单目深度估计

一个深度估计网络

  • 只估计单图深度,多次估计获得多张无关联的深度图

一个位姿估计网络

  • 只估计一个相机的两帧间位姿,多个相机的位姿没有关联性

在这里插入图片描述

多目环绕深度估计

多目深度估计网络

  • 同时时刻的多目图像联合估计深度

多目位姿估计网络

  • 不同时刻之间的多个相机的深度图联合估计位姿

在这里插入图片描述

Overview

在这里插入图片描述
Depth Net:shared encoder and decoder
Pose Net: universal ego-motion PoseNet

Cross view transformer

在这里插入图片描述

  • depthwise separable convolutions降低图像分辨率后
  • 使用 cross-view attention整合全局信息
  • 再反卷积回原图像大小

SFM pretraining

  • 首先采用SIFT特征提取匹配
    • 由于小重叠和大视图变化,相邻视图只取相邻的 1 3 \frac{1}{3} 31 部分匹配
    • 用epipolar geometry 过滤 outliers.
  • 使用相机外部矩阵进行三角测量来计算稀疏深度
  • 利用这些稀疏深度以及时间光度损失(temporal photometric loss)来预训练depth和pose网络

在这里插入图片描述

Joint pose estimation

分为两部分:

  • 整体位姿估计
  • 整体到局部位姿的转换

将N个target image和对应的N个source image一次喂到PoseNet 的encode,并在decode之前对提取的特征进行平均

在这里插入图片描述
获得整体位姿后,利用外参矩阵算单个相机的位姿:
在这里插入图片描述

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值