提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
创新点
深度回归模型:早期融合模型,在SLAM插件模块中进行稀疏地图到密集地图的转换,和LiDARs的超分辨率。
论文概述
从稀疏深度测量集和单个RGB图像进行密集深度预测的问题
本文的主要贡献是建立了一个深度回归模型,该模型将稀疏深度样本集和RGB图像作为输入,并预测全分辨率深度图像。学习模型确实不仅能够单独从稀疏样本中提取信息,而且能够从颜色中提取信息。
用作稀疏视觉测程/SLAM算法的插件模块,以创建精确、密集的点云。此外,我们还表明,我们的方法也可以用于三维激光雷达,以创建更密集的测量。
深度采样
从ground truth深度图中采样,对于任何深度样本的目标数量(targeted number of depth samples) m(在训练期间固定),我们计算伯努利概率(Bernoulli probability) p = m / n,其中n是D*中有效深度像素的总数。
我们的采样策略的目的是提高网络对不同输入数的鲁棒性,并创建更多的训练数据(即数据增强技术)。
数据扩充
不同维度上对数据进行处理以达到扩充的目的(缩放,旋转,色彩抖动,颜色归一化,翻转)
损失函数
berHu函数,引入批次相关参数c,使得损失函数在两种形式下计算,平均绝对误差(MAE)L1,均方误差L2。
默认选择MAE,是对表达相同现象的成对观察之间的误差的度量;它只是散点图中每个点与 Y=X 线之间的平均绝对垂直或水平距离。换言之,MAE 是 X 和 Y 之间的平均绝对差值。此外,每个误差对 MAE 的贡献与误差的绝对值成正比。
部分实验
从稀疏的地标创建密集点云:
应用于激光雷达超分辨率,创建比原始测量更密集的点云:
方法详解
网络基本结构参考了全卷积残差网络,特征提取层(编码层)由Resnet和卷积层组成,删除了原始ResNet的最后一个平均池层和线性变换层。解码层由4个上采样层和一个双线性上采样层组成。我们使用Laina等人[3]提出的UpProj模块作为上采样层。
两种不同的结构,因为kitti数据集的图像大小是nyu数据集的三倍
优缺点:
1.在这两个数据集上,精度随着深度样本数的增加而饱和。
2.即使有许多深度样本,预测也有模糊的边界。(在瓶颈网络架构中丢失了细节)
杂七杂八
Batch Normalization的优点
(1)避免梯度消失和梯度爆炸。把越来越偏的分布强制拉回比较标准的分布,这样使得激活输入值落在非线性函数对输入比较敏感的区域,这样输入的小变化就会导致损失函数较大的变化,这样可以让梯度变大,避免梯度消失问题产生,而且梯度变大意味着学习收敛速度快,能大大加快训练速度。
(2)加快训练速度。
(3)提高模型泛化能力。因为批量标准化不是应用在整个数据集,而是mini-batch上,会产生一些噪声,可以提高模型泛化能力。