我们在上一篇文章中提到:能不能给出一个目标图像,使用神经网络自动提取出它的特征码呢?
如果可以,那么我们就可以方便地对这些图像进行编辑,创造出各种各样“酷炫”的风格人像。
这个工作可以分为两步:
(1)先利用StyleGAN生成的特征码和生成的人脸图像训练一个网络,把人脸图像作为输入,把特征码作为输出,理论上可以得到一个StyleGAN的逆向网络模型,如果训练成功的话,这个模型可以自动将人脸图像转换为特征码;
(2)利用真实人脸图像对上面得到的模型进行进一步训练和“微调”,使之能够用于真实人脸的特征码提取。
我们已经完成了第一步的工作,内容请参考:
https://blog.csdn.net/weixin_41943311/article/details/102370766
但是,在进行第二步工作时,遇到了很大的困扰,如何做进一步的训练和“微调”呢?我做了一些尝试,基本上都失败了,现在把结果写在下面(但是,在最后,我们找到了新的用于解决这个问题的开源项目!):
(0)我们有StyleGAN和经过训练后的人脸生成模型 karras2019stylegan-ffhq-1024x1024.pkl ;我们也构造了StyleGAN的逆向网络lotus,并且lotus经过训练优化后的accuracy = 0.9501;用lotus生成的人脸图片的dlatents,再次使用Sty