github代码为https://github.com/Guim3/IcGAN
通常GAN的生成网络输入为一个噪声向量z,文献的创新点是,利用一个encoder网络,对输入图像提取得到一个特征向量z,将特征向量z,以及需要转换的目标attribute向量y串联输入生成网络,得到生成图像,网络结构如下,
如上图所示,包括连个encoder网络,分别为 Ez,Ey , Ez 用于将输入图像编码为特征向量z,也就是特征向量z提取了图像的基本特征. Ey 用于将输入图像编码为特征向量y,特征向量y包括图像的性别,是否为black hair,brown hair,是否make-up,sungalsses等信息, y′ 为我们需要生成的目标图像的特征向量,将特征向量y的对于位置的特征值转换,得到目标特征向量 y′ ,将z与 y′ 串联,输入生成网络,则可以生成含有目标特征的图像.
encoder网络参数如下,
之后将生成图像,目标图像分别输入判别网络,生成网络,判别网络结构图如下,
生成,判别网络参数为,
生成效果,