FDA-GAN: Flow-based Dual Attention GAN for Human Pose Transfer（用于人体姿势转移的基于流的双注意GAN 文献总结）

FDA-GAN: Flow-based Dual Attention GAN for Human Pose Transfer（用于人体姿势转移的基于流的双注意GAN 文献总结）

1.介绍

• 出发点：现有的方法没有充分利用源和目标之间的空间相关性，无法保留合成图像中的外观细节。
• 创新点：构成双重注意力机制的可变形局部注意力和流相似性注意力分别负责导出可变形和遮挡感知融合的输出特征。
  为了在传输过程中保持姿势和全局位置的一致性，该文章中国设计了一个姿势归一化网络，用于学习从目标姿势到源人物的自适应归一化。
  目标姿势源图像的生成分为两个子任务：
• 重组目标图像中共存的源图像部分
• 预测不存在的部分以填充目标图像
  为了最小化错误流估计结果造成的影响，可变形局部注意在相应的源位置周围采样一个可学习的不规则局部补丁。
  不可见的目标的位置采用可见目标通过运动相似性和空间相关性进行预测。

2.方法

FDA-GAN由三部分组成：

• 流生成
• 图像特征转换
• 姿势规范化
  

2.1双向一致流生成

流生成模块旨在生成扭曲流，将编码的源特征与目标特征进行对齐。扭曲流将源特征值放置在目标特征映射中。经过训练的VGG可以在多特征层次上提供图像的空间分布信息。因此，通过最小化图像中所有N个位置的流损失来预测w_f以了解映射关系：

然而，估计的流使用前向映射来监督流学习，这对不可区分匹配对的扰动很敏感。
本文使用双向一致性损失的前后向映射检查，以更好地区分相似的特征位置，并在遮挡掩码中标记遮挡的位置。

2.2 双注意力图像特征变换

• 流相似性注意力块
• 可变形局部注意力块

2.2.1 基于流相似性的注意块

由于源和目标不一致，在扭曲过程中，一些不可见的目标部分会被分配到不适当的源特征，从而导致结果退化。
分别使用余弦相似核K_c和高斯核K_g测量流动矢量的方向和位移相关性，从而对运动相似的区域进行分组。如上图所示，给定位于l(x,y)中的流值w_l，相似度估计器S通过w_l与相邻的计算相似度映射：

然后，从邻居集合中取k^~×k^~最大的元素并将其重塑成k^~×k^~的采样索引图G_l。提取器E从目标特征图f_t和遮挡掩码m中采样流相似性注意值和权重值。m显示被遮挡或未被遮挡的概率。
随后，使用softmax函数对权重图进行归一化，确保梯度传播的可靠性，最后，位置l的流相似性结果计算为：

2.2.2 变形的局部注意力模块

原始的局部注意力采样策略在源特征映射f_s^l+w上使用规则网格来提取l+w周围的源特征分支。网格R_n定义了一个n×n的采样核：

如上图所示，通过预测可变形局部注意块中每个源采样位置l+w的n×n不规则采样核来扩充规则网格R_n,记为R_dn。然后将偏移图R_dn与流值w_l和原始位置相加，得到可变形的局部注意力采样索引图。随后，提取器E计算与目标位置l对应的源图中的n×n采样块f_s,l+wⁿ。采样结果f_t,lⁿ通过由以目标位置l为中心的规则采样获得。
核生成模块以f_t,lⁿ，f_s,l+wⁿ合成作为输入，再通过卷积块和softmax函数输出相应采样源特征块的n×n加权值k_lⁿ，目标位置l的可变形局部注意值定义为：

总之,使用估计得遮挡掩码m,我们有选择地组合扭曲的源特征f_sattn、流相似性注意结果f_dattn和目标特征，以获得最后的生成的特征图：

2.2.3 字监督姿势归一化

运动传递的目的是保持源任务的外观、全局位置和体型。由于具有相同姿势但不同形状和全局未知的地面真实骨架本质是稀缺的。因此本文采用SMPL模型与目标人体的三维身体模型参数估计器拟合来解决这个问题。