最强3D视图插值法？See360：通用、实时、逼真的全景视图插值-CSDN博客

来源：3D视觉工坊

在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf链接

添加微信：dddvision，备注：三维重建，拉你入群。文末附行业细分群

该研究提出了See360，一个用于360°全景视图插值的多功能且高效的框架。通过潜在空间视点估计，该框架利用多尺度仿射变换器（MSAT）实现了对新视图的渲染，支持粗到细的特征渲染。同时，引入条件潜空间自编码器（C-LAE）实现了任意角度的视图插值。该方法不仅适用于室内和室外真实及合成环境的数据集，而且在短时间内还能适应未知真实世界场景，展现出实时渲染的能力。See360模型的优越性能为以摄像机为中心的视图渲染和360°全景视图插值提供了有前景的发展方向。

读者理解：

这篇文章提出了一种新的全景视图插值框架，称为 See360。See360 的核心思想是将相机中心视角合成视为二维平移变换，并利用多尺度仿射变换器（Multi-Scale Affine Transformer）来实现粗到细的特征渲染。

See360 将相机中心视角合成视为二维平移变换，是一个很有创意的思路。这种思路简化了视图插值的复杂性，提高了计算效率。
See360 采用多尺度仿射变换器来实现粗到细的特征渲染，是一种很有效的方法。这种方法可以生成具有较高逼真度的视图。
See360 在多个数据集上的实验结果表明，其性能优于现有的方法。

我认为 See360 具有很强的应用潜力。随着人工智能技术的不断发展，See360 有望在虚拟现实、增强现实、三维重建等领域得到广泛应用。

1 引言

该研究旨在实现以摄像机为中心的360°全景新视图插值。通过利用显式的2D仿射变换在特征域中渲染参考视图，暗含地发现了参考视图之间的3D关联性。主要贡献包括多尺度仿射变换器（MSAT），以2D仿射变换渲染参考视图，实现高质量、逼真图像生成而无需3D信息。此外，引入了条件潜空间自编码器（C-LAE），允许用户以任意角度交互操作视图。提供了合成和真实数据集进行训练和测试，并在野外测试中表明See360能在一定程度上应用于未知真实场景。

2 方法

See360扩展了传统的生成对抗网络（GANs），引入了条件潜空间自编码器（C-LAE）以将3D相机姿态映射到2D图像投影。该方法涵盖了新型交叉补丁卷积和有效的条件角度编码。其核心思想是通过学习两个参考图像的等效2D仿射变换，融合这两个图像的3D相机姿态，从而生成视图是两个参考图像的加权插值。为了保证新视图的逼真质量，See360还引入了多尺度仿射变换器（MSAT），以粗到细的方式渲染边缘和纹理。整体而言，这个方法的主要目标是生成可以欺骗鉴别器的逼真视图。通过使用U形结构对特征图进行上下采样来进行特征提取和融合，结合条件角度编码和交叉补丁卷积对特征映射进行操作，实现了对目标相机姿态下的新视图生成。

3 总结

本文介绍了一项新颖的方法——See360，利用神经渲染技术从仅有的两幅重叠输入图像中生成不同观察角度的视图。该方法的核心在于将3D视图渲染转化为等效的2D仿射变换。作者提供了用于训练和评估的两种类型的数据集，分别包括合成和真实图像。See360模型在360◦视频处理中有潜在应用，并有望扩展到结合2D和3D信息进行高分辨率图像/视频渲染。