#今日论文推荐# ECCV 2022 | PanoFormer: 首个360°全景定制的单目深度估计Transformer

#今日论文推荐# ECCV 2022 | PanoFormer: 首个360°全景定制的单目深度估计Transformer

单目全景深度估计（monocular omnidirectional depth estimation, MODE）是三维场景理解中的一个子领域，其任务设定为给定一张 360° 全景 RGB 图像，通过网络建模推理得到对应的 360° 深度图，相较于立体视觉而言具有更好的便利性。 
MODE 使用更为常见的等距柱状投影（ERP）全景图作为输入。这与正常的 2D perspective 图像存在较大差异：ERP 全景图的 360° 视角增益是以畸变为代价，因此导致整幅图像存在规律性的扭曲（畸变程度由图片水平轴线向垂直边逐渐增大）。受限于 CNN 有限的感受野和固定的采样位置，这种畸变特性使得 MODE 具有独立于传统单目深度估计任务之外的挑战性。
当然，此前的一些工作提出基于 CUBE 和 ERP 投影的双分支融合结构来增强网络对于大畸变区域的特征提取和建模能力，但需要注意的是，CUBE 格式的全景图在投影过程中会有 25% 像素的丢失，这直接导致 CUBE 分支深度图的模糊。如此两个分支的有限结果决定了其性能上限。为了解决像素损失这一问题，后续有工作提出基于旋转 CUBE 设计双分支结构，一定程度上缓和了这一矛盾。
随着 Transformer 网络框架的兴起，其独特的 long-range 建模能力为解决大畸变问题提供了一个新的思路。但“拿来主义”真能行得通吗？

首先，我们回顾一下传统的视觉 Transformer 在处理图像时的步骤并分析一下其在 ERP 图像上的应用挑战： 
1. 划分 patch。在以 ERP 格式作为输入的前提下会有两种划分 patch 的方法：1）直接等间距划分 patch；2）将球面全景图投影成重叠的 perspective 视口自然地作为 patch。首先，直接划分 patch 的方法会显著破坏大畸变区域的结构，而 perspective 视口可以将跨度非常大的物体投影回一个 patch。这样对比来看似乎后者更有趣且合理。 
2. Patch->Embedding->Token。视觉 Transformer 中做位置嵌入是通过线性层压缩特征维度实现的，那这种特征维度的压缩对于深度估计这一类像素级回归任务来说会不会造成信息的丢失，从而导致性能的下降？ 
3. 位置嵌入。此前的一些工作指出，在视觉领域位置嵌入能够贡献的力量似乎并没有很大，且比较鸡肋，很多工作甚至直接摒弃了位置嵌入模块，他们认为网络中所引入的卷积结构会暗含位置信息。但考虑步骤 1，如果我们采用 perspective 视口 patch 的划分方式，其真实的空间位置已经发生了改变，因此一个合适的位置嵌入策略在 MODE 中是迫切需要的。那么如何设计一个合理的位置嵌入方式呢？ 
4. Self-attention。自注意力模块通过压缩后的特征生成 q, k, v 依次查询计算全局注意力，如果我们的 embedding 设计成像素级，将会带来很大的计算复杂度，如何解决？ 
为了解决这些问题我们提出了一种 360° 全景定制的 Transformer 框架。

论文题目：PanoFormer: Panorama Transformer for Indoor 360° Depth Estimation
详细解读：https://www.aminer.cn/research_report/630f5ffd7cb68b460f109136https://www.aminer.cn/research_report/630f5ffd7cb68b460f109136
AMiner链接：https://www.aminer.cn/?f=cs