可该变某一属性的GAN:Hijack-GAN

Hijack-GAN技术允许在生成的图像中独立改变特定属性,如性别、微笑或年龄,同时尽量保留其他属性不变。通过预训练的任务模型提取属性信息,然后训练代理模型进行噪声更新,以沿着特定属性变化最快的方向迭代。在过程中,正交约束被引入以减少不同属性之间的相互影响。该方法为图像编辑提供了更精确的控制。
摘要由CSDN通过智能技术生成

博客与论文:https://mp.weixin.qq.com/s/VpaoKFvKVKM-ajNYFrwuPA

Hijack-GAN可以改变生成图片某一个属性,比如性别、微笑、年龄等属性,其他属性尽可能的保持。
在这里插入图片描述
Pre-trained Task Models模型抽取属性信息M(G(z))。用(z, M(G(z)))数据对来训练Proxy Model。
注:一个Pre-trained Task Model提取一个属性,如果要改变某个属性就不提取了。

改变噪声,使噪声生成的图片目标属性改变,其他属性尽可能的保持。如右图(b)所示,噪声数据从一开始最后来到终点。
噪声更新公式:
在这里插入图片描述
Jj是构成的雅可比矩阵J其中的一行,代表相应的某一属性变化最快的方向。可见,噪声z是根据一个一个属性迭代的
在这里插入图片描述
其中,Pi就是一个属性,但这个属性不是Pre-trained Task Models的输出而是Proxy Model的输出,zi是一个噪声。

但,这时可能会有一个问题,即z根据某一个属性迭代时,也会影响其他属性的变化,因为属性之间很有可能是相互有联系的
所以此时加入了正交约束,即用n代替Jj
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值