CVPR2018_GeoNet: Unsupervised Learning of Dense Depth, Optical Flow and Camera Pose
提出了一个联合估计深度、光流和pose的网络。
,这是在left-right consistency的无监督估计、sfmlearner的基础上开展的又一作品。
该论文主要贡献点:
- 提出了一个几何一致性代价(geometry consistency loss),来解决光照变化等情况
- 解决移动物体和遮挡:通过rigid flow and object motion两种机制
同样在介绍中,也表示深度学习在处理弱纹理区域的优势。
同时该实现能实现比较快的深度预测
1.基本结构和代价函数
如图:
总体分为两步:第一步是重建所有刚体的空间几何信息:对图片先进性深度估计,然后估计位姿;第二步在此基础上用一个residual flow learning module来处理物体移动问题
第一步:DepthNet, PoseNet
第一步不考虑视频中运动的物体
DepthNet
对单帧图像进行深度估计
PoseNet
将所有序列的图像按照channel concat到一起,一起输入来一次性训练所有帧之间的Pose.
代价函数为: