ICCV 2023 | 沉浸式体验3D室内设计装修，基于三维布局可控生成最新技术

文章链接： https://arxiv.org/abs/2307.09621

360°场景布局可控合成（360-degree Image Synthesis）目前已成为三维计算机视觉领域一个非常有趣的研究方向，在虚拟三维空间中沉浸式的调整和摆放场景对象，可以为用户带来身临其境的感觉，非常适合应用在3D家居模拟装饰领域。本文提出了一种拥有三维感知能力的对象布局生成器（object layout generator），其可以学习360全景照片中的对象隐藏向量，以便实现场景中各种布局的控制。为了实现精确且逼真的场景对象控制合成，作者使用生成对抗网络来实现该对象布局生成器。对于生成对抗网络的优化，作者巧妙设计了一个简单而高效的场景布局清空器（scene emptier），其可以移除场景中任意位置的对象来为模型生成对应拍摄角度的空场景来构成一致性循环约束。该文目前已被计算机视觉顶级会议ICCV 2023录用，作者在Structure3D数据集上对本文方法进行训练和评估，并将模型扩展到真实环境拍摄的Zillow室内场景数据集上，通过一系列的实验表明，本文方法已达SOTA效果，同时能够在现实环境中实现非常逼真的生成和编辑效果，为用户提供较好的沉浸式体验。

01. 介绍

全景图（360°图像）可以实现一种身临其境的用户体验，目前已广泛应用于各种虚拟现实（VR）应用中，例如苹果在今年六月份发布的vision Pro眼镜就是全景技术的综合应用。目前已有研究者开始考虑将这一技术应用在建筑和室内设计行业，实现360°视图室内场景的自动生成和编辑</