python 深度 视差 计算_基于单目图像无监督学习的深度图生成

点击上方“3DCVer”，选择“星标”

干货第一时间送达

论文的主要思想 如图1所示，网络的输入只需左相机图像，在训练阶段通过左右相机图像作为监督。注意，这里的无监督学习指的是，不需要深度图作为监督，但仍需左右相机图像对网络进行监督，采集数据时，仍需要采集左右相机图像。 图1 图2所示为网络的主要结构，其中C代表卷积，UC代表向上卷积(转置卷积)，S代表双线性采样，US代表上采样，SC代表跳跃连接。 注意：s代表双线性采样，其实主要用于增强生成的视差图，因为视差图经常会出现一些噪声点甚至是空洞，因此很有必要通过双线性插值来增强生成的视差图。 SC存在的目的其实就是在多尺度Feature Map上进行视差图的生成，这个思想和FCN以及多尺度物体检测的原理是相同的。   图2 图1中，经过backbone处理后，划分了三个分支，通过卷积分别生成左右两个图像的视差图，dl和dr。然后通过图2的操作，并根据右视差图+左图像，可以重建出右相机图；同样，根据左视差图+右相机图像可以重建出左相机图，前期在训练阶段，输入只有左相机图，以左相机图和右相机图作为标签，参与到上述