Unsupervised Person Image Generation with Semantic Parsing Transformation（基于语义解析转换的无监督人物图像生成文献总结）

Unsupervised Person Image Generation with Semantic Parsing Transformation（基于语义解析转换的无监督人物图像生成文献总结）

1.简单介绍

将人体之间的直接映射分解为两个更容易访问的子任务，即语义解析转换和外观生成。

• 首先，为了简化非刚性变形学习，提出乐一种语义生成网络来实现语义解析映射之间的转换
• 其次，利用外观生成网络学习合成语义感知的纹理
  无监督任务的主要挑战：
• 由于人体的非刚性特性，当前基于卷积的网络难以对空间偏差的人体部位进行转换。
• 服装的属性通常很难在生成中保存
• 成对训练数据的缺乏对建立有效地训练目标提供了很少的线索。

2.相关任务

核心思想:引入人类语义解析，将其分解为语义解析转换和外观生成两个模块。总体框架如上图所示。
语义解析模块的目的是首先生成目标姿势下的语义映射，为人体的体型和服装属性提供关键的先验信息。在预测语义图和参考图像的指导下，外观生成模块对最终输出图像进行纹理合成。

2.1 语义解析转换（HS）

语义生成网络由语义地图编码器E_s、姿势编码器E_p和语义地图生成器G_s组成。E_s以S_ps（语义地图），P_s（源姿势）,M_ps（源姿势掩码）为输入提取条件语义信息。E_p以P_t（目标姿势）,M_ps为输入对目标姿势进行编码。然后G_s基于编码的特征预测S^`_pt，如下图所示。

2.2外观生成（HA）

利用外观生成网络，在来自语义解析转换模块的参考图像和预测语义映射（HA模块所生成的S^`_pt）的指导下，为输出图像合成纹理，如下图所示。