论文笔记-深度估计(3)Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale...

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Kevin_cc98/article/details/78935659

Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture

这篇文章是eigen 2015年的新文章,基于同样的模型,同样的初始化和大概相同的参数,可以用来得到深度,表面法向量或语义标签。

1.网络介绍

它的Pipeline如图:
这里写图片描述

这里写图片描述

三个stage的网络,scale1的输入与池化后的原图片concatenate,scale2的输入与池化后的原图片进行concatenate。相对于2014年的论文Depth Map Prediction from a Single Image using a Multi-Scale Deep Network中没有输出像素级深度预测的问题,新增了scale3用来unsample。

2.Scale 1-Full-Image:

先对它进行一个VGG或AlexNet的网络来提取feature map,到layer1.6为止。然后用1x1的卷积核来降维,减少计算数量。

3.Scale 2-Predication:

得到预测图。语义系统的输入是ground truth的depth和normal vector,作者曾尝试使用预测得到depth和normal,但联合训练scale1和scale2得到结果几乎无提升,但depth等用来单独训练语义scale2则有效。作者认为这是因为基于语义的系统也能学习到depth和normal vector的相关性。

4.Scale 3-Highe Resolution

得到更高清的输出,相当于susample过程
depth的能量函数为:
这里写图片描述
可见相比eigen2014年的文章,能量函数增加了一个水平和竖直方向上梯度的抑制。这样可以使得得到的结果更加平滑,因此本文的深度估计,语义分割,都不必对结果进行超像素处理或平滑处理。

判断法向的预测值和真实值的差别,使用的是法向量内积:
这里写图片描述
语义的能量函数是softmax/n:
这里写图片描述

阅读更多
换一批

没有更多推荐了,返回首页