引导方法深度补全系列—早期融合模型—6—《Depth completion towards different sensor configurations via relative depth ma》

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

创新点

一、文章概述

二、方法详解

1.网络结构

2.具体方法

3.尺度不变损失函数（SIMSE）

总结

---

创新点

1.将深度补全分解为两个子任务，即相对深度图估计和比例恢复。

2.提出一种尺度不变损失函数估计相对深度图的方法

---

一、文章概述

先从图像中提取可靠的几何结构然后结合稀疏深度信息，模式和密度再测试的时候变化。所以把深度补全分为两个子任务

二、方法详解

1.网络结构

首先从单色图像估计相对深度图，然后使用稀疏深度输入恢复比例图。通过将相对深度图和比例图相乘，获得最终密集深度输出。

2.具体方法

相对深度估计模块（一种基于编解码结构的深度估计架构，因为任务不同暂时不过多了解；这是个单独的模块可以建立在不同架构上，所以使用现有模型也有助于证明我们方法的有效性。）

网络架构使用的基于编解码结构的单目深度估计，将重点放在几何结构上，而不是预测绝对深度值，这可以看作是一种场景理解。相对深度图定义为

S为比例图，假设它的值在一幅图像所有像素是一样的，不同图像可以不一样

尺度恢复模块

用稀疏深度图除以相对深度图变成稀疏尺度图，网络结构借用的SS-S2D，稀疏尺度图缺失的部分用标量尺度因子填充，可改进

两个步骤是分开进行的先后循序关系

3.尺度不变损失函数（SIMSE）

      优点是训练容易，因为梯度会随着接近真值减小；导数具有封闭解，优化容易。

      缺点是收敛速度慢；因为存在平方项所以对异常数据敏感。

余弦损失表示Ln

       余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。

 

本文使用的是余弦损失的变体

 

加入额外的损失恢复更多细节

最终的损失为

---

总结

我笔记里这篇文章叫杂糅因为两阶段都是拿别人的方法然后组合起来的，勉强也算是粗到精的结构