深度估计-03-MonoIndoor: Towards Good Practice of Self-SupervisedMonocular Depth Estimation for Indoor En

MonoIndoor: Towards Good Practice of Self-Supervised Monocular Depth Estimation for Indoor Environments 

ICCV 2021

Paper: https://arxiv.org/pdf/2107.12429.pdf

提出室内深度估计的问题

1）序列帧之间深度变化范围大，导致DepthNet难以获得一致的深度线索。在室外场景中，最远处通常是天空；而在室内场景中，客厅和浴室的最远距离显然有很大差异

2）室内相机旋转镜头多（rotational），而室外，例如驾驶数据集KITTI，相机移动通常是平移。导致PoseNet对位姿估计难。

提出对应解决方法

1）深度因子化模块（Depth Factorization）解决深度变化范围大难以估计深度的问题；

2）残差姿态估计模块（Residual Pose Estimation）改善PoseNet对于旋转姿态的估计。

在三个室内数据集上做了实验：EuRoC, NYUv2 and 7-Scenes。

Baseline

Loss  = 光度重构误差+ edge-ware smoothness loss + auto-mask static pixel [12] + depth consistency loss[1]

Depth Factorization

        深度归一化模块通过预测一个输入图片场景的scale系数，约束预测深度图的深度最近和最远距离。 

 

 

1）Self-attention module，加入attention模块去得到更informative的Encoder输出特征，属于常规加入注意力优化特征操作，蹭一波transformer的热度。

2）probabilistic classification-based strategy

 

         为Depth Factorization 网络预测的scale value，通过对各个scale s进行加权求和后得到global scale S。这样可以得到平滑的global scale。

Residual Pose Estimation

        通过估计中间状态视角，将一次姿态估计分解为多次姿态估计。

        先输入通过I_t和I_t' 输入PoseNet，然后预测I*_t'->t，认为此时是输出了一个中间视角，然后再和Target View一起输入ResidualPoseNet预测一个相对位姿，再进行重投影，通过多次位姿估计和重投影，简化室内场景的相机位姿变化大的问题。

        此外，注意PoseNet和ResidualPoseNet是共享backbone，而posehead是不共享的。

（The residual pose network shares parameters in the encoder with the pose network but learns independent parameters in its pose prediction head.）