A Multi-style Interior Floor Plan Design Approach Based on Generative Adversarial Networks论文阅读

abstract

人工智能正在重塑室内平面设计的过程，使其更加智能和自动化。由于对室内设计需求的增加，本文提出了一种双模块方法来实现多风格平面设计，采用pix2pix系列模型，一种生成对抗网络（GAN）。该方法由两个模块组成，从设计草图中生成语义标签图像和从标签图像中生成多风格设计图。为此，通过提取和编码区域的标签来分离关键区域的布局和样式纹理信息。然后，通过对双模块生成和单模块生成的实验比较，验证了所提出的双模块生成方法的优越性。最后，在多风格室内平面生成实验中验证了带有标签编码的双模方法。基于所提出的风格评价方法，生成结果的程式化指标超过0.8，进一步表明了所提出的双模块方法的多风格生成能力。

1 前言

随着城市化和生活质量的快速发展，住房需求普遍上升，导致对室内设计的需求日益增长。在实际的室内平面设计中，要对整体的室内结构进行分析，并对每个空间区域进行合理的划分。然后，家具需要布置在每个房间的区域。然而，整个平面设计过程是较高的人力资源消耗，多风格的室内平面设计进一步增加了设计师[1]的工作量。因此，迫切需要一种高效、智能的多风格室内设计方法。

上述室内设计方法都没有考虑过多风格图像生成，我们首先分析了多风格图像生成方法。现有的多风格生成方法大多是基于生成对抗网络（GAN）的图像风格传输[7–13]。一些方法[8-10,13]将特定的图像信息映射到中间潜在空间，以获得相应图像的潜在代码，并通过操纵不同维度的潜在代码来控制相应的特征层次，最终实现多风格生成。此外，方法[14–16]学习不同的属性代码，并将所需的样式属性注入到生成器中，以获得相应的输出。这些研究在人脸或景观图像的多风格实现方面表现出了良好的性能。然而，由于室内平面图的设计需要学习详细的设计原则，因此保存和生成特定元素的位置信息是极其重要的。因此，对于室内平面设计图像，“内容”和“风格”可能无法准确编码。此外，室内设计中的多风格设计需要确保每个区域的局部风格化，这使得更难找到具有普遍代表性的风格图像，因此上述多风格的实施方法不适用于室内平面设计。

与传统的卷积神经网络相比，利用GAN进行图像生成具有更好的精度和真实性[17–22]。在[22]中，提出了一种基于GAN的剪力墙生成方法。该方法从现有的剪力墙设计文件中进行学习，生成的结果与工程师的设计高度一致。因此，我们也使用GAN作为室内设计的基础。**本研究采用一种基于生成对抗网络的双模块生成方法，用于室内多风格平面图设计。整体结构主要由两部分组成，分别称为模块1和模块2。**其中，对空间布局等设计概念的学习主要体现在模块1的训练过程中，而模块2实现了多风格生成设计。与以往的研究相比，该方法在生成室内平面设计方面取得了更好的效果，且设计并不局限于单一风格。智能设计方法可以实现从墙壁草图到设计图纸的生成设计。因此，该方法大大减少了手工设计的工作量，进一步提高了室内设计的效率。

本文介绍了第二部分中数据集和评价指标的建立。 2.然后，第二节。3介绍了两种生成式对抗性网络算法，pix2pix和pix2pixHD，并设计了一个整体的双模块生成框架。接下来，第二节。4进行了pix2pix和pix2pixHD的算法比较实验，以及双模块生成方法的优越性验证实验。此外，双模块生成实验进一步证明了该框架对多风格设计的能力。最后，第二节。5提出了本研究的结论。

2 Datasets and Evaluation Metrics

2.1 Datasets Pre-processing

室内平面设计过程是图像到图像的生成过程。因此，必须首先考虑数据集的准备工作。目前还没有相应的开源数据集，所以有必要收集合适的室内设计图纸来制作数据集。为此，我们从互联网上收集了200多张室内设计图像，其中包括两种主要风格：现代极简主义风格和欧洲古典风格（分别定义为0级和1级）。这些图片来自于https://www.lianjia.com和https://www.anjuke.com等网站的真实装饰房屋，这些网站具有较高的参考价值。

由于下载图像中的大小不一致、低清晰度和水印阻塞等问题，需要进行预处理以提高可用性和一致性。具体采取的步骤如下：1)去除水印：在OpenCV库中使用模糊过滤器和形态学转换的方法。2)提高图像质量：利用在线平台自动调整图像的对比度、清晰度和颜色平衡，使图像更清晰。3)统一图像分辨率：使用P车间批处理工具将分辨率转换为1024×1024。经过预处理，我们获得了200张高质量均匀的尺寸的室内设计图纸。然后，提取设计图纸中的墙线，得到设计草图。设计图纸和设计草图的结果如图1所示。

在创建上述数据集后，我们应用了旋转和镜像等图像增强操作来增加数据量，以防止过拟合，提高模型的泛化能力。最后，我们获得了748组数据图像进行训练。由于直接生成的设计图纸质量较低，无法实现多风格的设计[6]，我们添加了标签图像作为双模块生成模型的中间状态。为了分割设计信息，我们要求标签图像必须包含室内设计的关键空间布局信息。基于此前提下，标注的规则是用不同的RGB颜色表示不同的区域，最终的标注图像由多个RGB色块组成。标签的原则如下：标签区域分为空间区域和家具放置。空间区域主要包括客厅、卧室、厨房等，每个空间区域也有相应的家具。由于家具直接位于相关区域，为了最大限度地识别，我们也最大程度地区分了标签的RGB值。例如，卧室面积的RGB值为R： 255，G： 0、B： 0，床的RGB值为R： 0、G： 255、B： 255。具体的标记信息如图2所示。

2.2评价和指标

经过训练得到相应的模型，进行合理的评价至关重要。对于生成的结果，评估的关键方面在于量化生成的图像和目标图像之间的差异。现有的评价方法主要是基于问卷调查和计算机视觉合成图像的评价。由于室内设计的独特性，特别是多风格的设计，调查结果并非只针对不同的研究对象。因此，问卷调查方法在一定程度上缺乏客观性。此外，传统的计算机视觉图像评价方法相对复杂。

FID（Fr´echet Inception Distance）在评估生成模型的质量和生成图像的多样性方面有广泛的应用，特别是在GANs [23]的背景下。FID是一个用于评估生成的模型和真实数据之间分布差异的度量，它基于初始网络和Fr的距离。“盗梦空间”网络是一种深度学习模型，用于从图像中提取特征表示。Fr‘切秒距离是一种统计度量，它可以量化两个概率分布之间的差异。在数学上，FID是用公式(1)来计算的。
$$FID=|{\mu }_G-{\mu }_R|{|}^2+Tr(C_G+C_R-2\sqrt[]{C_G\cdot C_R})$$

式中，μG和μR分别表示生成的图像分布G和真实图像分布R的特征，CG和CR分别表示G和R的协方差矩阵。首先，使用初始空间网络将生成的图像和真实图像映射到特征空间。然后，利用这些特征表示来计算Fr计算距离。FID值越低，表示生成的图像更接近真实数据的分布，说明模型的性能越好。

IoU（Intersection over Union）具有原理简单、计算量小和能够评估生成精度的优点。并评价了[22]剪力墙世代设计中结构设计的合理性。因此，我们采用IoU来测量生成的结果与目标图像之间的一致性，IoU评价的详细步骤如图3所示。首先，将1024×1024图像划分为16×256×256子图像，以提高轮廓检测算法的精度。其次，由于HSV（色相、饱和度和值）的颜色空间更加直观，所以我们选择在HSV空间中提取特定的色块元素。最后，通过轮廓检测算法提取图像的轮廓，得到每个区域对应的总交点，并利用式(2)计算每个区域的IoU。

$$Io{U}_{(area)}=\frac{A_{inter(area)}}{A_{union(area)}}$$
其中区域表示特定的色块区域等，Ainter表示生成的图像与目标图像的交叉区域，Aunion表示联合面积，计算为Aunion =生成+目标−间、生成和目标，分别表示生成面积和目标面积。最终的IoU计算公式为式(3)：
$$IoU=weight\times Io{U}_{area1}+(1-weight)\times Io{U}_{area2}$$

其中区域1包括客厅、卧室、厨房等空间区域，区域2包括沙发、床等家具，重量代表加权系数。由于由于家具的位置不完全重合，但生成的位置是合理的，我们仍然认为该生成符合要求。因此，我们适当地降低了其权重，最终选择了权重=为0.6。

3 Overall Design Framework

3.1 Pix2pix and Pix2pixHD

在GAN算法中，pix2pix和pix2pixHD算法在图像生成[24,25]方面都具有较高的性能。因此，在本研究中，我们使用这些算法进行训练。pix2pix算法是一种基于条件生成对抗网络[18]的图像到图像生成模型，可以处理分辨率为256×256的图像数据。生成器采用基于编码解码器的跳跃连接U-Net [26]结构，保留了共享信息，提高了生成质量。在小图像上计算损失可以显著增强纹理细节的捕获能力，有效地提高鉴别器对生成细节的关注。因此，该鉴别器采用PatchGAN结构，将图像分成多个小斑块，然后使用输出的平均值作为总体结果。此外，根据现有的研究[27,28]，将GAN目标损失与传统的损失函数混合可以得到更好的结果。pix2的pix算法也利用了这一优势。其目标函数增加L1损失，以确保原始域和目标域的图像尽可能接近。

pix2pixHD算法是一种高分辨率的图像到图像生成模型，具有多尺度生成器和鉴别器。如图4所示，pix2pixHD生成器有两个子网络，全局生成器G1和本地增强器G2。利用前端网络对输入图像的提取特征，并将全局生成器的下采样结果和上采样结果同时作为后端输入。然后，采样网络恢复了全局发电机输出的分辨率，提高了细节和清晰度。此外，该鉴别器可以直接处理高分辨率的图像，需要有较高的计算要求。为了解决这一问题，pix2pixHD使用了三个具有相同网络结构的鉴别器。鉴别器需要在不同的尺度上进行训练，并需要计算每个尺度的损失函数。因此，为了稳定训练过程，在pix2pixHD模型的损失函数中加入了基于鉴别器的特征匹配损失。由于VGG [29]网络具有更好的感知损失能力，因此在pix2pixHD模型中使用它代替L1损失作为预先训练的特征提取器来计算生成的高分辨率细节的质量。

3.2双模块结构

双模块结构的设计主要解决两个问题： (1)单模块直接产生的结果质量差，(2)现有模型无法实现多风格设计[5,6]。基于对抗性训练机制，学习特定像素值的概率分布，从而掌握空间划分、纹理添加等内部平面图设计技巧。首先，在模块1和模块2的训练中，我们采用了一致的GAN算法来简化模型的复杂度。相应的训练模型定义为草图2标签和标签2绘制。由于模块1的生成任务是根据设计草图来布局特定的区域和家具位置，因此相应的训练数据集由草图和标准标签图像组成。模块2负责从标签图像中生成多种风格的室内设计。因此，我们在训练中使用了两组对应于特定风格设计的标签图像，这是多风格生成的核心。通过训练好的模型，即使使用不同的标签图像作为输入，也可以获得多风格的设计图纸。完整的模型结构如图5所示。

同时，为了提高两个模块之间的连通性，我们增加了图像微调和风格选择的过程。由于 sketch2label的生成过程主要基于像素点空间位置的概率分布，因此当存在多个合理的布局时，生成的标签图像中可能存在噪声干扰和不规则的色块。为了解决这些问题，我们对草图2标签模块生成的标签图像进行了一定的处理。在这里，我们将生成的标签图像作为空间区域的概率密度图像。RGB值的分布表示家具或区域相应位置的最大概率分布。根据概率分布范围，计算特定家具放置的概率中心，然后直接将其划分为合适的家具标签。

此外，为了消除噪声的影响，我们在完成家具标签的标准化后，利用黑线的特征来划分区域，并通过腐蚀的方式快速地用与区域相关的语义填充每个房间。通过该方法，由草图2标签模块生成的标签图像可以轻松、有效地标准化。算法1显示了图像微调的具体算法工作流程。

由于生成的和标准化的结果图像是单一类型的标签图像，我们在图像微调过程后添加了一个自定义的“样式选择器”。通过重置每个区域块的RGB值，我们获得了模块2的输入标签图像。我们将这个过程称为样式选择过程。总体设计工作流程见算法2。

4 Experiment

4.1 Algorithm Comparison and Selection

基于上述预处理数据集和双模块生成实现方法，我们比较了pix2pix和pix2pixHD算法在室内平面设计中的生成能力。为了支持评估，我们比较了两种模型从设计草图中生成标签图像的任务。值得注意的是，由于pix2pix模型只能生成分辨率为256×256的图像，因此我们在使用pix2pix模型的数据集之前，对现有的1024×1024图像进行了适当的缩放。虽然确保了学习迭代的次数足够多，并且不会导致过拟合，但我们最终确定了最佳迭代次数为350次。

由于pix2pix和pix2pixHD算法的性能受超参数影响，因此分析这些参数对于获得最优性能至关重要。对于pix2pix算法，由于损失函数在cGAN的基础上增加了L1损失，而两个损失函数对生成图像的局部特征和全局清晰度的影响不同，因此通过实验分析损失函数的权重参数λL1(L1weight/LGANweight)很有意义。另一方面，pix2pixHD算法使用特征匹配损失LFM代替L1损失来稳定训练过程。因此，在pix2pixHD算法中，通过调整权重参数λLFM(LFMweight/LGANweight)来影响生成图像的质量。为此，我们进行了四组参数调整实验，生成结果如图6所示。

显而易见，pix2pix与pix2pixHD的实验结果相近，当λL1=0或λLFM=0时，均无法正确生成标签图像。增加权重参数后，生成结果的质量在准确率和清晰度上都有明显提升。此外，对两种算法不同超参数的设计结果进行了定量评估，评估结果如图7所示。显然，评估结果与图6中的感知结果一致。而且pix2pixHD的图像生成质量和结构设计质量明显优于pix2pix，设计离散度小，稳定性高。参数最优的pix2pixHD的IoU达到了0.7以上，说明其平面布局非常合理。因此，在双模块的生成设计中，最终选择了pix2pixHD作为核心算法，参数λLFM选取为10。

4.2 单模与双模两种方法的实验比较

在上一节中我们对比了各个算法的生成性能，最终选择了pix2pixHD作为核心算法，因此本节基于该算法验证了智能室内设计流程。实验中pix2pixHD模型的学习率为0.0002，采用动量参数β1=0.5、权重参数λLFM=10的Adam优化器。使用上述参数的pix2pixHD算法对比验证了双模块生成的优越性。首先在[6]中实现了利用GAN算法实现室内平面图生成设计，我们将该方法定义为单模块生成方法，即直接从设计草图生成设计图。由于该方法只能生成单风格的设计图，所以对比过程仅限于单风格的平面图设计。对于单模块生成的训练模型，使用的数据集是328张草图和Class0的绘制图。为了使对比过程更加客观，双模块生成模型的数据集中移除了class1，因此最终的双模块生成只使用了Class0单一风格的草图、标签和图纸。另外，对于模型的生成结果，由于设计图没有直观的衡量标准，这里我们直接用视觉感知来评估设计结果。

使用相同参数训练两个模型后，对比单模块生成与双模块生成的测试结果如图8所示。可以看出，在相同的数据集量和神经网络规模下，由设计草图直接生成设计图的效果不如预期，单模块生成结果出现区域重叠、家具模糊等现象，且存在无法生成卫生间位置布局的现象。我们认为主要原因是设计图既包含布局设计理念，又包含家具纹理细节，两者并非完全独立，最终导致区域重叠。双模块设计以独立的标签图像作为中间状态，将核心区域块的位置转化为对应的空间布局信息，因此通过双模块方式间接生成的设计图在纹理和设计细节方面更加优秀。实验充分验证了双模块生成在室内平面设计中的优越性和必要性。

4.3多风格室内平面设计

以上，我们验证了双模块方法具有更好的设计质量。因此，在多风格的生成设计中，我们继续将第1类数据集添加到双模块方法中，以进行完整的生成过程验证。草图2标签模块对应的输出如图9(a).所示可见，该模块的区域划分具有较高的精度，而家具的布局具有一定的灵活性。此外，由于GAN的生成是基于数据集的概率分布，少量的不规则色块和干扰噪声也代表了低程度的生成可能性。将生成的标签图像经过自定义图像微调器和样式选择器进行处理后，处理结果如图9(b).所示这种噪声被极大地滤掉，使标签图像符合标签2绘制模块的输入规范。

然后，使用风格化的标签图像生成相应的设计图纸，生成的结果如图9©.所示可见，所提出的双模块方法可以快速、方便地生成相应的风格平面设计，且该设计具有较高的视觉感知效果。然后，我们继续测试单个区域和家具的多风格生成，混合风格设计如图9(d).所示根据生成的结果，该模型初步实现了混合式设计。但与统一风格设计相比，混合风格设计存在一定的纹理细节缺失。我们认为其原因是在训练数据集中没有这种混合风格的设计图像。在后续的研究中，我们可以设计一个数字双[30]工艺来增强这种类型的室内平面设计过程。

针对上述风格化的生成，我们利用聚类方法验证了多风格生成能力。首先，我们采用将设计图像转换为灰度直方图的方法来减少特征维度。然后，我们通过聚类方法分别获得两种风格的中心点，并计算各代特征向量与聚类中心之间的距离。基于反映图像和两种风格之间相似程度的距离，我们最终将结果量化为世代分别属于这两种风格的概率值Pclass0和Pclass1。各代风格指标如下：class0（Pclass0=0.867，Pclass1=0.133）；第1类（P类0=0.167，P类1=0.833）；混合风格（P类0=0.536，P类1=0.464）。根据测试指标，class0和class1的风格指标均达到0.8以上，表明该模型具有出色的多风格生成能力。此外，混合风格设计的风格指标适中，验证了风格评估方法的合理性和正确性。

结论

本文提出了一种多风格的室内平面平面设计方法，以减少手工设计的工作量。该方法由两个模块组成，分别完成生成布局标签图像和添加纹理信息的任务，最后生成多样式设计图纸。在区域布局和多风格设计中采用了合理的评价，评价结果验证了双模块方法的可靠性和合理性。这种多风格的自动设计方法最大限度地减少了对人力资源的需求，大大提高了室内设计的效率。所得出的结论如下：

1.标签图像将平面设计的布局和纹理信息分离，可以对模型进行相应的训练，从而提高生成性能。这个想法也可以在其他生成式设计任务中得到利用。

2.双模块方法可以细分生成过程，以增加计算消耗为代价来提高学习能力。因此，需要合理分析细分的数量来优化生成性能

3.本研究采用多风格生成的定量分析。基于k-means算法计算了生成的样式指标，结果验证了该方法具有生成多样式设计的能力。

本研究可以产生整体的多风格的室内设计，但具体对象的风格化仍需改进。因此，我们考虑增加数字双生工艺，以进一步发展未来的生成性能。