发现一个关于生成高清动漫头像的很棒的博客:gwern faces,讲述了从GAN诞生以来尝试过的各种方法生成动漫人脸的经验,值得一看
如何对无监督的styleGan生成器找到对应的特征的输入z
- 新创建一个encoder,用于对image编码获取其对应的z。方法是,通过训练好的styleGAN,获取z-生成image对,将该z-image作为训练集用于训练该编码器,则该编码器能够对任意一张图片获得其对应于该styleGAN的编码z,既可通过对该z进行扰动获得一些特征调整。
- 通过反向传播的方法,获取对应编码z。一个神经网络中有3种变量:输出、网络参数、输出(loss)。这3种变量不同的操作组合可以用来做不同的事。
- 固定输入,让网络参数可以变动,目的是让输出loss最小,这种操作是为了优化更新网络参数,获得更好的模型
- 固定输入,让输出loss可以变动,从而研究网络参数可解释性
- 固定输出目标,如styleGAN中,试图找到对应编码z的原图像,固定网络参数,输入不同z,试图让经过styleGAN生成器生成的图像与原图像目标之间的loss最小,从而得到该原图像对应的最接近的输入z。这与对抗样本的创建方式有思想上的雷同之处,对抗样本是试图修改输入图像,希望让loss最大。
与对抗样本中对特征层进行loss放大类似的是,也可以同样对z输入后Generator得到的中间特征进行loss计算,类似