家装设计师福音！HouseCrafter，一键将房子的平面图转成完整的3D室内场景！

东北大学联合Stability AI提出HouseCrafter，能够将房子的平面图转成完整的3D室内场景！

方法的核心是一个 2D 扩散模型，它可以生成场景的一致多视图 RGBD 图像。我们的模型架构灵感来自 SOTA 以对象为中心的新型视图合成模型的设计，但针对场景级内容的几何和语义复杂性进行了重新设计。

相关链接

论文地址：https://arxiv.org/abs/2406.20077

代码地址：https://github.com/google/placeholder（即将开源）

论文阅读

HouseCrafter: 利用 2D 扩散模型将平面图提升到 3D 场景

摘要

我们推出了 HouseCrafter，这是一种新颖的方法，可以将平面图提升为完整的大型 3D 室内场景（例如房屋）。

我们的主要见解是调整在网络规模图像上训练的 2D 扩散模型，以在场景的不同位置生成一致的多视图颜色 (RGB) 和深度 (D) 图像。具体来说，RGB-D 图像以分批方式自回归地沿着基于布局图的采样位置生成，其中先前生成的图像用作扩散模型的条件以在附近位置生成图像。扩散模型中的全局布局图和注意力设计确保了生成的图像的一致性，从中可以重建 3D 场景。

通过对 3D-Front 数据集进行广泛的评估，我们证明了 HouseCraft 可以生成高质量的房屋规模 3D 场景。消融研究还验证了不同设计选择的有效性。我们将发布我们的代码和模型权重。

方法

我们的方法首先生成场景的多视图二维观测，然后以三维形式重建。我们训练一个可以使用 RGBD 图像执行新视图合成的扩散模型。具体来说，该模型从附近位置获取多张 RGBD 图像，并将编码的平面图作为条件，然后输出一批彼此一致且符合条件的 RGBD 图像。

我们方法的核心是一个 2D 扩散模型，它可以生成场景的一致多视图 RGBD 图像。我们的模型架构灵感来自 SOTA 以对象为中心的新型视图合成模型的设计，但针对场景级内容的几何和语义复杂性进行了重新设计。首先，我们将参考条件和图像生成都更改为 RGB-D 设置，而不是仅 RGB，因为 RGB-D 图像为 3D 场景重建提供了强有力的线索。其次，我们在每个 unet 块的开头插入一个布局注意层，以鼓励生成的图像忠实于平面图，确保在生成房屋规模场景时具有全局一致性。此外，交叉注意层（在先前的作品中为参考新颖视图注意而引入）已更新为利用参考深度的几何形状，从而生成更高质量的图像。

效果

用户可以通过移动平面图上的家具来轻松编辑场景的布局。生成的场景也会相应改变。

结论

在这项工作中，我们介绍了 HouseCrafter，这是一种将 2D 平面图转换为详细 3D 空间的管道。我们自回归生成密集的 RGB-D 图像，并将它们融合成 3D 网格。我们的关键创新是基于图像的扩散模型，该模型由平面图和参考 RGB-D 图像引导，生成多视图一致的 RGB-D 图像。此功能可以生成具有高质量几何形状和纹理的房屋规模 3D 场景，超越了以前只能生成房间规模场景的方法。

原创作者: u_16658015 转载于: https://blog.51cto.com/u_16658015/11556836