3D Packing for Self-Supervised Monocular Depth Estimation 论文笔记

3D Packing for Self-Supervised Monocular Depth Estimation

论文链接： https://arxiv.org/abs/1905.02693

一、 Problem Statement

作者提出了三个问题:

1. 基于自监督深度网络的RGB图像序列场景结构和摄像机运动联合估计问题。
2. 深度估计的性能主要是由模型框架决定的。
3. 单目视觉在尺度模糊的问题。

二、 Direction

1. 提出一个新的框架PackNet，能够最大限度的传递稠密的表面和几何信息同时，还能实时运行。
2. 提出一个新的loss，可以选择性的加入相机的速度来解决尺度模糊的问题。
3. 提出了一个新的数据集，Dense Depth for Automated Driving。

三、 Method

整体的框架如上图所示。

作者目的是:

1. 学习一个单目深度模型$f_D:I\to D$, 能够对taget image $I$ 的每一个像素预测一个 尺度模糊 的深度 $\hat{D}=f_D(I(p))$。
2. 学习一个单目的ego-motion 预测模型 $f_x:(I_t,I_S)\to x_{t\to S}$, 能够预测一个在taget image $I_t$ 和一系列source images $I_s\in I_S$之间的6自由度的变换 $x_{t\to s}=(\begin{array}{c}Rt\\ 00\end{array})\in SE(3)$ 。在实际中，source images是相邻两帧$I_{t-1},I_{t+1}$

1. 目标函数

整体的目标函数如下:

$$L_{(}{I}_t,\widehat{I_t})=L_p(I_t,I_S)⊛M_p⊛M_t+{\lambda }_1{L}_s(\widehat{D_t})$$

其中，$\widehat{I_t}$ 是 synthesized taget image， $I_t$ 是target image， appearance matching loss是 $L_p$， depth regularization (edge-aware smoothing) $L_s$ 。$M_t$ 是 binary mask，避免计算那些没有有效映射的像素的photometric loss。 而$⊛$表示element-wise multiplication。

(1) Appearance Matching Loss

$$L_P(I_t,\widehat{I_t})=\alpha \frac{1-SSIM(I_t,\widehat{I_t})}{2}+(1-\alpha )||I_t-\widehat{I_t}||$$

$$L_p(I_t,I_S)=\underset{I_S}{\min }{L}_p(I_{,}\widehat{I_t})$$

$$M_p=\underset{I_s}{\min }{L}_p(I_t,I_s)>\underset{I_s}{\min }{L}_p(I_t,\widehat{I_t})$$

(2) Depth Smoothness Loss

$$L_s(\widehat{D_t})=|{\delta }_x\widehat{D_t}|e^{-|{\delta }_x{I}_t|}+|{\delta }_y\widehat{D_t}|e^{|{\delta }_y{I}_t|}$$

(1)和(2) 和 monodepth2一样。

(3) Scale-Aware Sfm

这一部分是解决尺度模糊的方法。作者提出了 velocity supervision loss。

$$L_v({\hat{t}}_{t\to s},v)=|\Vert {\hat{t}}_{t\to s}\Vert -|v|△T_{t\to s}|$$

所以整体的loss可以改进为:

$$L_{scale}(I_t,\widehat{I_t},v)=L(I_t,{\hat{I}}_t)+{\lambda }_2{L}_v({\hat{t}}_{t\to s},v)$$

2. 网络结构

monodepth 使用了类似于U-Net的网络结构，而本文也是类似于encoder-decoder的结构。作者认为

四、 Conclusion

通过引入相机速度改进了尺度模糊的问题，也提出了一个新的网络结构，提升性能。

五、 Reference