CNN: 深度估计 & 光流 & 残差流

一、深度估计

SfMLearner(2017, Unsupervised learning of depth and ego-motion from video)无监督学习的优势是可以使用大量数据。

对于3D场景，给定不同的相机pose，可以获得不同的2D图片。如下图所示。那么，换一个思路，使用一个Depth network从单视野预测深度 + Pose network预测相邻帧图像的观察相机发生的相对旋转R和平移T（即ego-camera pose estimation），就可以从Reconstructed的3D Scene投影得到观察相机变换后的相邻帧的图像。

（Cited from CVPR report by Tinghui Zhou）

随后，根据同一个物体的同一个位置在不同ego-camera pose的相邻帧上的颜色\亮度应该是一致的（这里隐含了Lambertian反射假设），构建photometric loss，进而对Single-view depth network和Pose network进行自监督学习。如下图所示：

Depth CNN和Pose CNN是一同训练的，但部署时支持单