引导方法深度补全系列—显式3D模型—1—《Deeplidar: Deep surface normal guided depth prediction for outdoor scene from 》

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

创新点

一、文章概述

二、方法详解

1.网络结构

2.DCU深度补全单元

3.基于注意力的整合

4.损失函数

总结

---

创新点

1.估计曲面法线用于指示远处区域

2.估计置信掩码用于指示近处遮挡区域

3.改进的后期融合模型

---

一、文章概述

1.估计曲面法线作为中间表示，以生成密集深度，并将彩色图像和表面法线的估计与学习的注意力地图相结合，以提高深度精度。

2.提出了一种改进的编解码结构，以有效地融合稀疏深度和密集颜色图像。

3.网络预测了一个置信掩码，以处理遮挡区域。

二、方法详解

1.网络结构

颜色路径和表面法线路径。颜色路径以彩色图像和稀疏深度作为输入，输出完整深度。曲面法线路径首先从输入的彩色图像和稀疏深度预测曲面法线图像，然后将其与稀疏深度和从颜色路径学习的置信掩码结合在一起，以生成完整的深度。这两条路径中的每一条都用一堆深度完成单元（DCU）实现，然后通过学习的加权和对两条路径的深度进行积分，以产生最终的完整深度。

2.DCU深度补全单元

       编码器使用resnet卷积将特征分辨率降低到输入的1/16，对应在特征融合中的四个上投影过程，将RGB/法线的特征串联起来，但将来自稀疏深度的特征直接加到解码器上，在最终整合特征也就是解码过程中有利于相同类型的特征，也就是鼓励深度信息，所以网络鼓励学习与深度更相关的信息。

3.基于注意力的整合

     

由于从曲面法线恢复深度的方法泛用性不好，所以选择了RGB图像的先验信息和估计的表面法线两条平行路径，最终的深度为两个估计深度的积分

       注意力机制：就是深度积分的过程，整合从两条路径中恢复的深度，其中两个深度的组合不是固定的，而是取决于当前环境；具体过程就是输出密集深度前一个特征图先计算两条路线的分数，然后转化为组合权重。

最终深度：

 

       其中ˆDc和ˆDn是来自颜色和表面法线路径的深度，wc和wn分别是学习的组合权重，学习的wc和wn有效地将其对应深度输出的强部分作为目标

4.损失函数

         Ld定义估计深度上的损失，Ln定义估计表面法线上的损失

       对于Ld，我们在估计深度上使用L2损耗,即均方误差

       把目标值 Yi 与估计值 f(xi) 的差值的平方和 S 最小化：

      优点是训练容易，因为梯度会随着接近真值减小；导数具有封闭解，优化容易。

      缺点是收敛速度慢；因为存在平方项所以对异常数据敏感。

余弦损失表示Ln

       余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。

 

---

总结

优缺点

1.网络要学习的参数较多（掩码，两个注意力图，曲面法线等等），用的损失函数也是收敛较慢，实验要求环境和运行速度可能是缺点

表面法线的方法是个很好的