单目全景图像深度估计方法

读前知识：

360image——“360全景图像通过图像合成技术将四幅不同的图像合成为一幅类似3D的图像。它可以很好地呈现我们日常倒车或转弯时的盲区图像，有助于提高我们的安全驾驶。然而，360全景图像通过合成技术将前、后、左、右摄像头的图像组合在一起。合成图像的质量与摄像头的清晰度以及摄像头安装位置所显示的范围有关。因此，呈现的图像与实际对象之间会有一定的差距。这对我们来说只是一种驾驶辅助。”

当Image Distortion相当严重。如果用vanilla CNN丢失信息更多，信息损失影响深度估计准确性。

故如何利用辅助计算方法恢复严重扭曲（失真）的全景图像的准确的深度信息，需要研究。

OmniFusion: 360 Monocular Depth Estimation via Geometry-Aware Fusion
Code：https: //github.com/yuyanli0831/OmniFusion.

重点：1、二维与三维特征如何融合。2、基于注意力的变换器结构 the self-attention-based transformer architecture。 

联系：医学内镜也是严重扭曲，且特征缺失明显。