图像生成:SaGAN

简介

首先需要说明下,SaGAN不是SAGAN,SAGAN是Self-Attention GAN,Ian Goodfellow大牛挂名的论文,而这篇文章要介绍的是SaGAN是Spatial Attention GAN,即空间注意力的生成对抗网络,来自中科院,它的论文是《Generative Adversarial Network with Spatial Attention for Face Attribute Editing》
SaGAN用来做面部属性编辑,是一种结合VAE的GAN结构,功能比较简单,一个模型只能修改一种属性,相比其他的GAN模型这并不酷炫,但是对应的模型比较轻量,训练没有压力。对属性无关区域的保留做的很好。

SaGAN原理

设计理念

SaGAN是一种用来做面部属性编辑的方法,比如一个不戴眼镜的人脸图像加上眼镜,或是一个戴眼镜的人脸图像移除眼镜。面部属性编辑有一个大前提是保证属性无关区域不被改变,SaGAN的Spatial Attention机制,就是用来做这个,总结起来SaGAN有三个方面的贡献,其实也可以说是两个:

  • 在GAN中引入了空间注意力(spatial attention),自动关注并修改相关属性,忽略和保留无关属性;
  • 和image-to-image方法不同,SaGAN使用一种属性条件控制,可以用一个生产模型完成一种属性的0,1变换,而不是G1(0)=1G_{1}(0)=1G2(1)=0G_{2}(1)=0这样,使用两个模型;
  • 由于spatial attention的引入,SaGAN对属性无关区域的保留非常出色,如何要使用GAN做人脸识别增广的话,这一点会变的尤其重要,因为起码要保证生成前后一个ID。

SaGAN网络结构

在这里插入图片描述
上图就是SaGAN的网络结构,例子是将一个戴眼镜的人脸图像II生成不戴眼镜的人脸图像I^\hat{I}
首先作为一个GAN结构,一定有生成器G和判别器D两个部分,分别是上图中白色的Generator部分和灰色的Discriminator部分。
首先是生成器部分G,它的输入是原始图像II和属性控制信号cc,负责输出修改后的图像I^\hat{I}
I^=G(I,c)\hat{I}=G(I,c)
生成器又拆分为两个网络,一个是attribute manipulation network(AMN),定义为FmF_{m}。它的输入是原始图像II和属性控制信号cc,负责输出中间结果IaI_{a}IaI_{a}是对整副图像直接操作的结果:
Ia=Fm(I,c)I_{a}=F_{m}(I,c)
另一个网络就是这个方法的核心,空间注意力网络spatial attention network (SAN) ,定义为FaF_{a}。它的输入是原始图像II,负责输出一个掩码图像bb,它是一个二值图。在这个二值图中,1应该对应属性相关的区域,0对应属性无关的区域。但是这是一种理想化的结果,由于bb是网络反卷积出来的,所以没办法控制bb中的像素非1即0,而是一个被压缩到0-1内的连续值,所以实际上是bb中非0的像素对应属性相关的区域,为0的像素对应属性无关的区域。
b=Fa(I)b=F_{a}(I)
有了IIIaI_{a}bb之后,就可以输出最后的结果了,即:
I^=G(I,c)=Ia×b+I×(1b)\hat{I}=G(I,c)=I_{a}\times b+I\times(1-b)
就是用掩码bb之和中间结果IaI_{a}做乘,再将掩码取反,和原图IaI_{a}做成乘,最后把它们加起来。

在这里插入图片描述
上图是生成器G的网络结构,AMN和SAN结构是一样的,并且IaI_{a}bb都靠反卷积得到。SAN最后用Sigmoid把范围压缩到0-1。

判别器部分D也有两部分,分别是原始的DsrcD_{src}和增加的DclsD_{cls},分别用来评价图像生成的效果和属性编辑的效果。因为如果没有DclsD_{cls},也可以生成出质量高的图像,但是做不到属性的控制。DsrcD_{src}DclsD_{cls}共用了主干网络。
在这里插入图片描述
上图是判别器D的网络结构,DsrcD_{src}DclsD_{cls}公用了前6层主干。

SaGAN损失函数

首先是SaGAN的判别器D损失,由于判别器有DsrcD_{src}DclsD_{cls}两个部分,所以损失函数也是:
DsrcD_{src}的损失函数和原始GAN是一样的,即:
LsrcD=EI[logDsrc(I)]+EI^[log(1(Dsrc(I^))]L_{src}^{D}=\mathbb{E}_{I}[logD_{src}(I)] +\mathbb{E}_{\hat{I}}[log(1-(D_{src}(\hat{I}))]
DclsD_{cls}DsrcD_{src}的作用是相似的,是对属性做二分类,所以它也可以用二值交叉熵来表示,即:
LclsD=EI,cg[logDcls(cg,I)]L_{cls}^{D}=\mathbb{E}_{I,c^{g}}[-logD_{cls}(c^g,I)]
所以判别器的总损失,在原文中表示为:
minDsrc,DclsLD=LsrcD+LclsD\underset{D_{src},D_{cls}}{min}L_{D}=L_{src}^{D}+L_{cls}^{D}
但是感觉这个有问题,LsrcDL_{src}^{D}没有加负号,不应该是最小化LsrcDL_{src}^{D},而是最大化,多以个人认为上式应该修改为:

minDsrc,DclsLD=LsrcD+LclsD\underset{D_{src},D_{cls}}{min}L_{D}=-L_{src}^{D}+L_{cls}^{D}

其次是SaGAN的生成器G损失,由于判别器有DsrcD_{src}DclsD_{cls}两个部分,所以生成器G也要有两个对应的损失函数,分别是固定判别器时生成更真实的图像LsrcGL_{src}^{G}和生成更对应属性的图像LclsGL_{cls}^{G}
LsrcG=EI^[log(Dsrc(I^)]L_{src}^{G}=\mathbb{E}_{\hat{I}}[-log(D_{src}(\hat{I})]
LclsG=EI^[log(Dcls(I^)]L_{cls}^{G}=\mathbb{E}_{\hat{I}}[-log(D_{cls}(\hat{I})]
它们应该是二值交叉熵的右侧部分,但是论文里改写了下,拿LsrcGL_{src}^{G}举例,min(EI^[log(Dsrc(I^)])min(\mathbb{E}_{\hat{I}}[-log(D_{src}(\hat{I})])等效于min(EI^[log(1Dsrc(I^))])min(\mathbb{E}_{\hat{I}}[log(1-D_{src}(\hat{I}))])
生成器部分还有第三个损失函数,就是重塑损失LrecGL_{rec}^{G},它是一个均方误差损失。它的目的是

  • 原图通过目标属性控制信号cc生成I^\hat{I}I^\hat{I}再经过原属性控制信号cgc_{g}生成的图,应该和原图是一样。
  • 原图通过属性控制信号cgc_{g}生成的图,应该保持不变,和原图是一样。

LrecG=λ1EI,c,cg[IG(G(I,c),cg]+λ2EI,c,cg[IG(I,cg)]L_{rec}^{G}=\lambda _{1}\mathbb{E}_{I,c,c_{g}}[I-G(G(I,c),c_{g}]+\lambda _{2}\mathbb{E}_{I,c,c_{g}}[I-G(I,c_{g})]

最后的总损失,还是把他们加起来:
minFm,FaLG=LsrcG+LclsG+LrecG\underset{F_{m},F_{a}}{min}L_{G}=-L_{src}^{G}+L_{cls}^{G}+L_{rec}^{G}

SaGAN生成效果

在这里插入图片描述
SaGAN的效果就像上图这样,Mask是属相相关的二值掩码图像。

此外,SaGAN还特意在CelebA是FLW上做了个人脸识别的实验,为了验证上面提到的数据增广对人脸识别的促进作用。
数据增广是这样:
在这里插入图片描述
识别效果提升是这样:
在这里插入图片描述

©️2020 CSDN 皮肤主题: Age of Ai 设计师: meimeiellie 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值