深度估计

一.迁移学习[论文][Keras][监督]

1).网络:

图1-1.网络框架。带跳跃连接的编解码器结构。编码器采用在
ImageNet上预训练过的DenseNet-169,解码器由卷积和上采样组成。

2).损失函数:

  1. 每个像素的预测深度与实际深度的L1损失:L_{depth}\left ( y, \hat{y} \right ) = \frac{1}{n} \sum_{p}^{n} \left | y_{p} - \hat{y}_{p} \right |。由于该损失会随深度值的变大而变大,作者使用原始深度值y_{orig}的导数y=m/y_{orig}作为深度值,m是最大深度值。
  2. 图像梯度与深度图梯度的L1损失:L_{grad}\left ( y,\hat{y} \right )=\frac{1}{n}\sum_{p}^{n}\left |g_{x}\left ( y_{p},\hat{y}_{p} \right ) \right | + \left |g_{y}\left ( y_{p},\hat{y}_{p} \right ) \right |
  3. 图像与深度图的SSIM。

二.对偶网络[论文][TF][无监督]

无监督的深度估计一般利用基于对极几何的图像重建损失训练CNNs产生视差图。

1).网络框架:

图2-1. 6项损失版的对偶网络。

 对偶网络来自Godard,分别输出左右视差图。使用空间变换网络提出的双线性采样方法用视差图重建图像:用左视差图和右图像重建左图像;用右视差图和左图像重建右图像。

2).训练,6项损失(3组):

  1. 外观匹配损失:重建图像与原图的L1损失和SSIM。
  2. 视差平滑损失:视差图的平滑损失。
  3. 左右一致性损失:左右视差图的视差一致性。

网络会输出4个尺度的视差图,对每个尺度都计算这样的损失。这些损失的定义也都来自Godard


三.序数回归[论文][Caffe][监督][Robust Vision Challange 2018第一名]

1).主要工作:序数回归和多尺度特征。

2).序数回归:

  1. 把深度估计建模成回归问题然后用最小化均方误差训练网络。这种方法收敛慢且局部效果不好。
  2. 作者把连续的深度估计离散化,实验证明增距离散(spacing-increasing discretization, SID)优于等距离散(uniform discretization, UD)。
  3. 网络监督信息是SID策略输出的离散深度值。

3).多尺度特征:

  1. 重复的空间池化会降低特征图的分辨率,所以现有方法需要用跳跃连接和多层反卷积得到高分辨率深度图。这使网络训练变得复杂,而且计算量大。
  2. 作者使用DeepLabV3的ASPP模块,并把其中的全局平均池化替换成全图编码器。

 

  • 0
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值