引导方法深度补全系列—早期融合模型—4—《S2DNet: Depth estimation from single image and sparse samples》

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

创新点

一、文章概述

二、方法详解

1.网络结构

2.注意力块

3.attention

总结

---

创新点

1.粗劣深度的预测和精细深度分为两步进行，在精细化时加入了注意力模块指导深度图精细化

---

一、文章概述

1.提出了S2DNet网络，由一个估计粗深度的S2DCNet和一个精细深度估计的S2DFNet网络级联

2.编码器特征通过注意力块和解码端结合，提供权重

二、方法详解

1.网络结构

2.注意力块

S2DCNet输入图片和稀疏深度图生成粗深度补全图

S2DFNet输入图像和S2DCNet网络生成得粗深度补全图，结构和S2DCNet相同，但在解码端加入了注意力块，如下：

这个注意力块输入编解码相应层的特征，首先编解码端特征与第f层滤波器的每个通道做卷积运算，然后融合得到Q：

在由这个Q得到注意力系数：

系数在与编码层生成的输出相乘得到注意力块的输出

然后编码器特征跳过连接和注意力块的输出连接作为下一层解码器的输入：

3.attention

注意力的核心目标就是从众多信息中选择出对当前任务目标更关键的信息，将注意力放在上面。

本质思想就是【从大量信息中】【有选择的筛选出】【少量重要信息】并【聚焦到这些重要信息上】，【忽略大多不重要的信息】。聚焦的过程体现在【权重系数】的计算上，权重越大越聚焦于其对应的value值上。即权重代表了信息 的重要性，而value是其对应的信息。

此过程细化编码器特征，并为提取的特征赋予适当的权重。

这部分简略介绍，attention的详细介绍请另行查找。

---

总结

经典的粗到细的深度补全过程，第二部分细化过程直接对粗深度图做处理，本文章是添加了注意力块以提升效果