2.predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Conv Architecture

predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture

论文在这儿

大体思想

这篇论文是上一篇论文的改进。使用单个多尺度卷积网络架构处理三种不同的计算机视觉任务：深度预测、表面法线估计和语义标记。网络结构一共包含三个stage的网络，scale1的输入与池化后的原图片concatenate，scale2的输入与池化后的原图片进行concatenate。相对于2014年的论文Depth Map Prediction from a Single Image using a Multi-Scale Deep Network中没有输出像素级深度预测的问题，新增了scale3用来unsample。


Combining Depth and Normals： We combine both depths and normals networks together to share computation, creating a network using a single scale 1 stack, but separate scale 2 and 3 stacks. Thus we predict both depth and normals at the same time, given an RGB image.

1.scale解释

①Scale1-Full-Image:

scale1输出的是整个图像区域的粗特征预测，得到feature map。（它总共有两种，一种AlexNet，一种是VGG）到layer1.6为止。然后用1x1的卷积核来降维，减少计算数量。

②Scale2-Predication:

得到预测图。语义系统的输入是ground truth的depth和normal vector,作者曾尝试使用预测得到depth和normal，但联合训练scale1和scale2得到结果几乎无提升，但depth等用来单独训练语义scale2则有效。作者认为这是因为基于语义的系统也能学习到depth和normal vector的相关性。

③Scale3-Higher Resolution

使得预测图片的分辨率变高同时将结果进一步的精细化，得到更高清的输出。相当于up-sample过程

2.loss function

①Depth loss：

D是预测，D是ground-truth。d=D-D
可见相比eigen2014年的文章，损失函数增加了一个水平和竖直方向上梯度的抑制。这样使得得到的结果更加平滑，因此本文的深度估计，语义分割，都不必对结果进行超像素处理或平滑处理。

②Surface Normals loss:

N:the predicted vector maps
N*:ground truth normal vector mapsthe sums again run over valid pixels
判断法向的预测值和真实值的差别，使用的是法向量内积：

③Semantic Labels loss:

where is the class prediction at pixel i given the output z of the final convolutional linear layer