【深度学习】：一门入门3D计算机视觉

一.导论

目前深度学习已经在2D计算机视觉领域取得了非凡的成果，比如使用一张图像进行目标检测，语义分割，对视频当中的物体进行目标跟踪等任务都有非常不错的效果。传统的3D计算机视觉则是基于纯立体几何来实现的，而目前我们使用深度学习在3D计算机视觉当中也可以得到一些不错的效果，目前甚至有超越传统依靠立体几何识别准确率的趋势。因此咱们现在来介绍一下深度学习在3D计算机视觉当中的应用吧！本博文参考了前几天斯坦福大学最新出的CS231n课程（2020/8/11新出），新课增加了3D计算机视觉和视频/动作分类的lecture，同时丰富了生成对抗网络（GAN）的内容，但暂时国内还无人翻译，因此小编将其翻译整理成博文的形式供大家参考,如有错误之处，请大家见谅，同时欢迎大家讨论。

二.3D计算机视觉训练集以及表示方法

 

 在3D计算机视觉当中，我们可以采用于训练的模型共有以上几种，分别是：

1.Depth Map（深度图）

2.Voxel Grid(翻译过来很奇怪，因此就保留原英语)

3.Implicit Surface(隐表面)

4.PointCloud（三维点云）

5.Mesh

那么什么是Depth Map（深度图）呢？咱们来看看

三.Depth Map（深度图）

深度图的图像如下所示：

 

 

 在左上角有一张关于斯坦福大学寝室的图片，我们可以将其转化为右上角的深度图，其中深度图当中不同的颜色表示了不同物体距离摄像头的距离，距离摄像头的距离越大，则显示出来的颜色则越红。我们假设有一个神经网络，我们只需要输入一张图片，就可以得到图片当中的所有位置距离摄像头的距离，这样是不是很酷呢？那么我们如何使用神经网络对一系列的图片训练成为深度图的形式呢？一些研究人员便立马想到可以使用全卷积神经网络(Fully convolutional Network)来实现这个过程，全卷积神经网络(