Controllable Person Image Synthesis with Attribute-Decomposed GAN（基于属性分解GAN的可控人体图像合成 文献总结）

Controllable Person Image Synthesis with Attribute-Decomposed GAN（基于属性分解GAN的可控人体图像合成 文献总结）

核心思想：将人的属性作为独立的代码嵌入到潜在空间中，通过显示风格表示的混合和插值操作实现对属性的灵活连续控制。

1.介绍

上图所示的是由多个源图像提供所需的人的属性的可控的人的图像合成。该模型通过将组件属性嵌入到潜在空间中构造样式代码，并将从人物图像中提取的关键点的二维骨架编码为姿态代码，通过自由编辑样式代码，实现对合成的特定组件的直观控制。
本文提出的方法主要引入了一种新的生成器体系结构，它具有两条独立的路径，一条用于位姿编码，另一条用于分解组件编码。
后者首先通过语义布局自动将组件属性从源人物图像中分离出来，采用预训练的人体解析器提取。组件样式被输入一个带有多分支嵌入的全局纹理编码器，它们的潜在代码按照特定的顺序重新组合以构建样式代码。然后级联样式块作为两个路径的连接，通过控制AdaIN层的仿射变换参数，将样式代码表示的组件属性注入到姿势代码中。最后，可以从目标特征中重建出所需的图像。

2.方法

2.1生成器

• 输入：目标姿势P_t和源人物图像I_s
• 输出：源人物I_s在目标姿势P_t的生成图像I_g
  生成器通过两个独立的路径将目标的姿势P_t和源人物图像I_s嵌入到两个潜在的编码中，分别为姿势编码和分解的组件编码。这两条路径通过一系列的风格块连接起来，将源人物的纹理风格注入到姿势特征中，最后通过解码器对目标特征进行重构。如下图所示：
  

2.1.1姿势编码

目标姿势P_t通过姿势编码器嵌入到潜在空间作为姿势编码C_pose,该编码器由N个下采样卷积层组成（N=2）。

2.1.2分解组件编码

源人物图像通过分解组件编码模块作为样式代码C_sty嵌入到潜在空间中。如上图所示，该模块首先使用现有的人类解析器提取I_s的语义图S,并将S转换为K通道的热图。通过将源图像和分量掩码进行计算得到各个分量的分解人物图像。然后将分量送入到纹理编码器T_enc生成每个分量的样式编码，最后将所有分量的样式编码按自上而下的方式连接在一起，以获得完整的样式编码C_sty。
纹理编码器T_nec:

2.1.3纹理样式转换

纹理样式转换的目的是将源人体的纹理模式注入到目标姿势的特征中，在两条路径上连接姿势代码和样式代码。传输网络由几个级联式模块组成，每个模块由一个融合模块和配备AdaIN的剩余conv模块构成。对于t^th样式块，通过以下公式进行计算：

注：A表示AdaIN层中所需学习的仿射变换参数（尺度μ和移位σ），这些参数通过融合模块（FM）从样式代码C_sty中提取。FM由三个全连接层组成前两层允许网络通过网络通过线性重组灵活的选择所需的特征，最后一层提供所需维度的参数。

2.2鉴别器

采用两个鉴别器：D_p和D_t。

• D_p:确保生成图像I_g的姿势和目标姿势P_t对齐
• D_t:用于确保I_g的外观纹理和源人物的相似性。