TPAMI 2024 | 基于图掩码建模的图变换器生成对抗网络用于建筑布局生成

题目：Graph Transformer GANs With Graph Masked Modeling for Architectural Layout Generation

基于图掩码建模的图变换器生成对抗网络用于建筑布局生成

作者：H. Tang; L. Shao; N. Sebe; L. Van Gool

---

摘要

我们提出了一种新颖的图变换器生成对抗网络（GTGAN），用于端到端学习有效的图节点关系，以解决具有挑战性的图约束建筑布局生成任务。所提出的基于图变换器的生成器包括一个新颖的图变换器编码器，该编码器结合了图卷积和自注意力机制，以模拟连接和未连接图节点之间的局部和全局交互。具体来说，我们提出的连接节点注意力（CNA）和非连接节点注意力（NNA）旨在分别捕获输入图中连接节点和非连接节点的全局关系。此外，我们提出的图建模块（GMB）旨在基于房屋布局拓扑利用局部顶点交互。我们同样提出了一种新的基于节点分类的鉴别器，以保留不同房屋组件的高级语义和区分性节点特征。为了保持真实图和预测图之间的相对空间关系，我们还提出了一种新颖的基于图的循环一致性损失。最后，我们提出了一种新颖的自引导预训练方法，用于图表示学习。这种方法涉及同时掩蔽节点和边以较高的掩蔽比率（即40%）及其随后的重建，使用非对称的图中心自编码器架构。这种方法显著提高了模型的学习效率和速度。在三个具有挑战性的图约束建筑布局生成任务（即房屋布局生成、房屋屋顶生成和建筑布局生成）上