引导方法深度补全系列—早期融合模型—1—《Sparse-to-dense: Depth prediction from sparse depth samples and a single image》

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

创新点

方法详解

杂七杂八

总结

---

创新点

       深度回归模型：早期融合模型，在SLAM插件模块中进行稀疏地图到密集地图的转换，和LiDARs的超分辨率。

---

论文概述

从稀疏深度测量集和单个RGB图像进行密集深度预测的问题

       本文的主要贡献是建立了一个深度回归模型，该模型将稀疏深度样本集和RGB图像作为输入，并预测全分辨率深度图像。学习模型确实不仅能够单独从稀疏样本中提取信息，而且能够从颜色中提取信息。

       用作稀疏视觉测程/SLAM算法的插件模块，以创建精确、密集的点云。此外，我们还表明，我们的方法也可以用于三维激光雷达，以创建更密集的测量。

深度采样

      从ground truth深度图中采样，对于任何深度样本的目标数量(targeted number of depth samples) m（在训练期间固定），我们计算伯努利概率(Bernoulli probability) p = m / n，其中n是D*中有效深度像素的总数。

 

       我们的采样策略的目的是提高网络对不同输入数的鲁棒性，并创建更多的训练数据（即数据增强技术）。

数据扩充

       不同维度上对数据进行处理以达到扩充的目的（缩放，旋转，色彩抖动，颜色归一化，翻转）

损失函数

       berHu函数，引入批次相关参数c，使得损失函数在两种形式下计算，平均绝对误差（MAE）L1，均方误差L2。

 

       默认选择MAE，是对表达相同现象的成对观察之间的误差的度量；它只是散点图中每个点与 Y=X 线之间的平均绝对垂直或水平距离。换言之，MAE 是 X 和 Y 之间的平均绝对差值。此外，每个误差对 MAE 的贡献与误差的绝对值成正比。

部分实验

从稀疏的地标创建密集点云：

应用于激光雷达超分辨率，创建比原始测量更密集的点云:

      

方法详解

       网络基本结构参考了全卷积残差网络，特征提取层（编码层）由Resnet和卷积层组成，删除了原始ResNet的最后一个平均池层和线性变换层。解码层由4个上采样层和一个双线性上采样层组成。我们使用Laina等人[3]提出的UpProj模块作为上采样层。

       两种不同的结构，因为kitti数据集的图像大小是nyu数据集的三倍

优缺点：

1.在这两个数据集上，精度随着深度样本数的增加而饱和。

2.即使有许多深度样本，预测也有模糊的边界。（在瓶颈网络架构中丢失了细节）

杂七杂八

Batch Normalization的优点

（1）避免梯度消失和梯度爆炸。把越来越偏的分布强制拉回比较标准的分布，这样使得激活输入值落在非线性函数对输入比较敏感的区域，这样输入的小变化就会导致损失函数较大的变化，这样可以让梯度变大，避免梯度消失问题产生，而且梯度变大意味着学习收敛速度快，能大大加快训练速度。

（2）加快训练速度。

（3）提高模型泛化能力。因为批量标准化不是应用在整个数据集，而是mini-batch上，会产生一些噪声，可以提高模型泛化能力。

---

总结