博客与论文:https://mp.weixin.qq.com/s/VpaoKFvKVKM-ajNYFrwuPA
Hijack-GAN可以改变生成图片某一个属性,比如性别、微笑、年龄等属性,其他属性尽可能的保持。
Pre-trained Task Models模型抽取属性信息M(G(z))。用(z, M(G(z)))数据对来训练Proxy Model。
注:一个Pre-trained Task Model提取一个属性,如果要改变某个属性就不提取了。
改变噪声,使噪声生成的图片目标属性改变,其他属性尽可能的保持。如右图(b)所示,噪声数据从一开始最后来到终点。
噪声更新公式:
Jj是构成的雅可比矩阵J其中的一行,代表相应的某一属性变化最快的方向。可见,噪声z是根据一个一个属性迭代的。
其中,Pi就是一个属性,但这个属性不是Pre-trained Task Models的输出而是Proxy Model的输出,zi是一个噪声。
但,这时可能会有一个问题,即z根据某一个属性迭代时,也会影响其他属性的变化,因为属性之间很有可能是相互有联系的。
所以此时加入了正交约束,即用n代替Jj: