Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture
这篇文章是eigen 2015年的新文章，基于同样的模型，同样的初始化和大概相同的参数，可以用来得到深度，表面法向量或语义标签。
1.网络介绍
它的Pipeline如图:
三个stage的网络，scale1的输入与池化后的原图片concatenate，scale2的输入与池化后的原图片进行concatenate。相对于2014年的论文Depth Map Prediction from a Single Image using a Multi-Scale Deep Network中没有输出像素级深度预测的问题，新增了scale3用来unsample。
2.Scale 1-Full-Image:
先对它进行一个VGG或AlexNet的网络来提取feature map，到layer1.6为止。然后用1x1的卷积核来降维，减少计算数量。
3.Scale 2-Predication:
得到预测图。语义系统的输入是ground truth的depth和normal vector,作者曾尝试使用预测得到depth和normal，但联合训练scale1和scale2得到结果几乎无提升，但depth等用来单独训练语义scale2则有效。作者认为这是因为基于语义的系统也能学习到depth和normal vector的相关性。
4.Scale 3-Highe Resolution
得到更高清的输出，相当于susample过程
depth的能量函数为：
可见相比eigen2014年的文章，能量函数增加了一个水平和竖直方向上梯度的抑制。这样可以使得得到的结果更加平滑，因此本文的深度估计，语义分割，都不必对结果进行超像素处理或平滑处理。
判断法向的预测值和真实值的差别，使用的是法向量内积：
语义的能量函数是softmax/n：
