论文阅读： 从大到小：单目深度估计的多尺度局部平面指导（2019）

From Big to Small: Multi-Scale Local Planar Guidance for Monocular Depth Estimation

作者：Jin Han Lee, Myung-Kyu Han, Dong Wook Ko and Il Hong Suh
开源：https://github.com/cogaplex-bts/bts

论文目前只放在了arXiv上，这篇论文在KITTI深度估计的排名中超过了DORN排在了第一位，在这里抛砖引玉。本文主要的创新点在于提出了局部平面指导层（local planar guidance， lpg），作者不止一次地谈到这个层是为了更加有效地将decoder阶段的特征与最终的输出深度图联系起来。通常encoder-decoder结构的网络都是在解码最终的输出再施加训练损失的约束使得输出深度图，于是，个人认为这个lpg层有一些在网络中间施加约束的感觉，将internal features恢复到 full resolution, LPG模块直接定义或者说表达了internal features和最后full depth之间的关系。局部线性假设其实是指局部区域法向量是相同的，也就是说是一个平面。

BTS基本信息

1、有监督、端到端、单张RGB图片作为输入，输出单张深度图

2、网络架构：编解码结构+skip connection+ ASPP+LPG

LPG层

在看网络结构之前，先大致描述一下这个lpg层。这个层用在decoder阶段，输入就是较低分辨率的特征（文中是1/8，1/4，1/2分辨率的特征），每个位置输出一个4维的参数向量，这4个参数可以描述一个平面，平面的大小与特征分辨率对应。比如输入特征分辨率是1/8时，每个位置输出的4D向量会拟合一个8*8的平面，输入特征分辨率1/2时，每个位置输出的4D向量则会拟合一个2*2的平面。也就是说，尽管输入的特征分辨率低，但是输出的4D向量会拟合更大的平面，这样，不同分辨率的特征将最终得到同样大小的一整张平面图。

方法：

网络体系结构

 前面DFE就是encoder部分，后面接一个ASPP（空洞卷积、空间金字塔）结构提取多尺度，然后就来到了lpg部分。可以看到，最上面的lpg输入是H/8，输出的大小就是H了，下面两个lpg层也是输出大小H。不同阶段的lpg输出还会进行融合，最终再经过卷积之类的才会得到最终的输出H。因此，在不施加训练损失的约束下，这里输出的c图（最右侧一列）并不代表深度。但如作者所说，反映了一定的真实场景，比如物体的轮廓在c图中都很好地体现了出来。

 接下来是lpg层具体的结构，给定具有空间分辨率H/k的特征映射，所提出的层为每个空间单元估计4D平面系数，所述4D平面系数适合于全分辨率H上的kxk块，这里，我们使用lpg，因为对于k×k区域，它只需要四个参数就可以实现有效的重建。通过lpg将拟合出一张分辨率与输入输出相同的图，图中各个位置的值就是下面公式中的c。并且通过最后的卷积层连接在一起以用于最终预测。

为了lpg，我们使用以下公式将每个估计的4D平面系数转换为kxk局部深度：

其中（n1，n2，n3，n4）是估计的平面系数，（ui，vi）分别是像素i的标准化坐标。

通过1x1卷积的堆栈，其中使用1x1卷积重复将信道减少2倍，直到达到4，如果假设为平方输入且不丧失一般性，则得到H/k * H/k *4特征映射。然后，通过两种不同的方法来保证平面系数的约束：一种方式是一系列平面法向量，另一种是sigmoid函数，然后用最大距离C进行缩放以确定平面的位置。最后，再次将它们串联起来，并使用上式进行局部深度估计。

 

训练的损失是一个尺度不变的损失，只对网络最终的输出施加了约束，因此，感觉中间lpg层输出的c图并不一定代表深度。

最后总结，本文从常用的encoder-decoder结构出发，考虑了将decoder阶段不同尺度的特征与最终的深度关联起来，从而更有效地利用了这些特征，对最终的输出起到了较大帮助。