论文笔记：HR-Depth:High Resolution Self-Supervised Monocular Depth Estimation

中文标题： HR-Depth:高分辨率自监督单目深度估计

（本文只记录与Monodepth2不同的部分）

解决的问题

• 虽然人们尝试使用高分辨率图像进行深度估计，但预测的精度并没有显著提高。在本研究中，我们发现其核心原因是在大梯度区域的深度估计不准确，使得双线性插值损失随着分辨率的增加而逐渐消失。

创新点

• 文章提供了一个高分辨率单眼深度估计的深度分析，并证明了预测更准确的边界可以提高性能。
• 文章重新设计了跳接，以获得高分辨率的语义特征图，这可以帮助网络预测更清晰的边缘。
• 为了提高特征融合的效率和效果，我们提出了特征融合压缩和激励模块。

高分辨率性能分析

• 在Monodepth2上增大图像分辨率，性能指标并未提升。Mono2结构并不能利用输入图像的高分辨率的信息。
  
• 在梯度较大的区域中，局部预测误差会在上采样过程中严重影响全局精度
• 在低分辨率区域，上采样对精度影响较小。

重新设计的跳接结构

思路

通过充分利用空间以及语义信息来预测更好的边界

解决方案

HR 解码器

• $X_i^e$表示特征提取节点；$X_{i,j}$是特征融合模块，其中只含3x3卷积；$X_i^d$表示特征融合模块，包含fSE模块。深度预测由DispConv连接。
  

特征融合SE模块

问题

• 密集的跳接使解码器节点显著增加了输入特征图数量，降低网络的效率。

解决方案

• 提出 feature fusion Squeeze-Excitation(fSE) 模块
• 通过全局平均池化表示通道信息，并通过两个全连接层紧接Sigmoid激活函数，获取特征重要性，并重加权特征（类似通道注意力机制），最后通过1x1的特征获得高质量特征。

轻量化 HR-Depth

• 蒸馏出一个小网络，只有Mono2 20%的参数量，却比Mono2更加精确。

消融实验

• 分析：类似于HRNet的dense SC模块可以提高性能，fSE模块在性能和效率间进行取舍。

全文总结

• 在MonoDepth2的基础上对DepthDecoder进行改进，使用HR结构增强了特征在空间和语义上的复用。已经存在将DepthEncoder换为标准预训练HRNet的论文[1]。

代码阅读

• 在阅读代码时我发现，如果我的理解没有问题的话，图中画叉的节点时不存在的，并且按照规律特征的的流向为红色虚线。（如果我的理解有问题，请大家指正。）

参考文献

[1] Zhou H, Greenwood D, Taylor S. Self-supervised monocular depth estimation with internal feature fusion[J]. arXiv preprint arXiv:2110.09482, 2021.
[2] Lyu X, Liu L, Wang M, et al. Hr-depth: High resolution self-supervised monocular depth estimation[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2021, 35(3): 2294-2301.