论文阅读笔记-Unsupervised Learning of Depth and Ego-Motion from Video

原论文链接
arXiv Unsupervised Learning of Depth and Ego-Motion from Video
CVPR 2017 open access Unsupervised Learning of Depth and Ego-Motion from Video

据我所知，这是第一篇使用视频来进行无监督单目深度估计学习的论文。论文主要贡献是：利用视频中相邻两帧的视角合成作为监督信号来进行深度估计和相机位姿估计的训练。(所以后面也有人管这叫自监督学习。)

本博客仅为个人理解，推荐阅读原文，原文写得也非常清楚。

1 方法

在开头提到过利用视频中相邻两帧的视角合成作为监督信号来进行深度估计和相机位姿估计的训练是本文主要的贡献。

本章将详细说明该方法如何将相邻帧的视角合成作为监督信号，作者如何处理违背假设和视角合成没有意义的地方。

需要注意的是：本文的方法假设相邻帧之间的场景变化只受相机变化的影响，也就是说，视频中的运动物体会对本文的方法造成比较大的影响。

1.1 将视角合成作为监督信号

将视角合成作为监督信号的主要过程见图1，作者将视频中的一帧$I_t$作为目标帧，也就是目标视角。然后将$I_t$相邻的图像$I_{t-1}$和$I_{t+1}$作为源帧/源视角$I_s$。
首先将目标图像$I_t$经过深度估计网络得到对应的深度图${\hat{D}}_t$，将目标图像$I_t$分别和源图像$I_s$作为相机位姿估计网络的输入得到相对相机位姿${\hat{T}}_{t\to s}$。然后将利用目标图像深度图${\hat{D}}_t$，相机的内外参将目标图像$I_t$投影弯曲到目标图像的平面上。投影弯曲的过程见图2。投影(Project)的过程主要通过下面的公式(1)来进行。
$$\begin{array}{r}{p}_s\sim K{\hat{T}}_{t\to s}{\hat{D}}_t(p_t)K^{-1}{p}_t\end{array}$$
经过投影之后，利用投影位置附近的四个像素的值进行可微双线性采样(differentiable bilinear sampling)，采样后${\hat{I}}_s$上$p_t$位置的值为
I ^ s ( p t ) = I s ( p s ) = ∑ i ∈ { t , b } , j ∈ { l , r } w i j I s ( p s i j ) \begin{align} \hat{I}_{s}(p_{t}) = I_{s}(p_{s}) = \sum_{i\in \{t,b\}, j\in \{l,r\}}w^{ij}I_{s}(p_{s}^{ij}) \end{align} I^s​(pt​)=Is​(ps​)=i∈{t,b},j∈{l,r}∑​wijIs​(psij​)​​
其中${\sum }_{i,j}{w}^{ij}=1$，$t,b,l,r$分别表示$top,bottom,left,right$。
得到了变化后的源图像${\hat{I}}_s$后，利用目标图像和源图像计算损失${\mathcal{L}}_{vs}$，这与后面利用SSIM来计算该损失不同，这里直接用L1距离来计算。
$$\begin{array}{r}{\mathcal{L}}_{vs}=\sum _{<I_1,...,I_N>\in \mathcal{S}}\sum _p|I_t(p)-{\hat{I}}_s(p)|\end{array}$$

图1 将视角合成作为监督信号的总览

图2 目标图像的投影弯曲过程

1.2 处理违背假设的部分

以下三种情况违背了作者最初的假设：

1. 场景中包含有运动的物体
2. 源视角和目标视角之间有遮蔽和未遮蔽的变化，举个例子：目标视角中原本没有被遮蔽的物体，在源视角被遮蔽了。
3. 物体表面不符合Lambertian

为处理这几种情况，作者在相机位姿估计网络中添加了解释性网络，解释性网络输出解释性掩模${\hat{E}}_s$。并利用解释性掩模${\hat{E}}_s$来修改损失${\mathcal{L}}_{vs}$。
$$\begin{array}{r}{\mathcal{L}}_{vs}=\sum _{<I_1,...,I_N>\in \mathcal{S}}\sum _p{\hat{E}}_s(p)|I_t(p)-{\hat{I}}_s(p)|\end{array}$$
但是这种情况下，为了最小化损失${\mathcal{L}}_{vs}$，网络会将解释性掩模${\hat{E}}_s$预测为0，所以作者增加了正则化项${\mathcal{L}}_{reg}({\hat{E}}_s)$来通过最小化解释性掩模${\hat{E}}_s$与1的交叉熵损失来鼓励网络不将解释性掩模${\hat{E}}_s$预测为0。

1.3 处理视角合成没有意义的地方

因为损失${\mathcal{L}}_{vs}$是由像素间的强度差来获取的。${\mathcal{L}}_{vs}$在低纹理区域时没有意义，所以作者添加了损失函数${\mathcal{L}}_{smooth}$，该损失最小化预测深度图的二阶导的$L_1$正则化。

2 结论

作者提出了一个端到端的无监督单目深度估计方法。作者在文章结尾提出了展望：

1. 对动态物体和遮蔽的处理不好，可能可以通过结合运动分割来处理。
2. 需要相机内参，不能任意使用网络中的视频来训练。
3. 深度图知识3D场景的一个简单的表示。