前两天刚刚看完利用StyleGAN2生成高质量分割训练数据的文章,我还在想能不能给用生成数据训练其他模型,今天就看到了这篇文章。
作者通过研究用不同数据训练的两个模型发现,用合成图像训练的模型,之所以性能太差,主要原因有两点:
- 生成图像类内差异太小
- 生成图象与真实图象之间的域差距(domain gap)差距太大
因此,作者提出了一种采用特征混合和域混合的方法SynFace,来分别解决上面两个问题。
此外,作者还讨论了身份数和每个身份对应的图象数这两个参数对人脸识别训练的影响,揭示出身份数更重要。同时分析了不同的面部属性对人脸识别的影响,如姿势,表情和亮度等。
模型首先使用DiscoFaceGAN组成混合人脸生成器,可以混合两张生成图像。之后,生成的图象与一部分真实图象混合。然后,特征提取器以混合人脸图像作为输入,提取相应的特征。提取的特征要么用于计算模型训练的基于边际的softmax损失(其中W1、W2是两个不同类别的中心权重向量,x是特征向量),要么作为人脸表示来执行人脸识别和验证任务。
通过降低损失,可以减少生成图像与真实图象的域差异。让生成的图象所训练的网络能更好的用于识别现实中的图象。