python 深度 视差 计算_基于单目图像无监督学习的深度图生成

原文首发于微信公众号「3Ｄ视觉工坊」：基于单目图像无监督学习的深度图生成

01 论文的主要思想

如图1所示，网络的输入只需左相机图像，在训练阶段通过左右相机图像作为监督。注意，这里的无监督学习指的是，不需要深度图作为监督，但仍需左右相机图像对网络进行监督，采集数据时，仍需要采集左右相机图像。

图1

图2所示为网络的主要结构，其中C代表卷积，UC代表向上卷积（转置卷积），S代表双线性采样，US代表上采样，SC代表跳跃连接。注意：s代表双线性采样，其实主要用于增强生成的视差图，因为视差图经常会出现一些噪声点甚至是空洞，因此很有必要通过双线性插值来增强生成的视差图。SC存在的目的其实就是在多尺度Feature Map上进行视差图的生成，这个思想和FCN以及多尺度物体检测的原理是相同的。