注:拉到最后有视频版本哦
论文链接:https://arxiv.org/abs/2003.03581
文字版
这篇论文是用 stylegan 的一个曲线救国编辑算法
我也还是从这三个方面开始我的讲解
背景和动机
首先是背景,背景就是基于现在最强的 gan,stylegan 的解耦合特性,可以做图像的编辑
然后是文章的动机,对于编辑一张真实的图片,我们需要把他嵌入到 gan 的隐空间中,也就是我上一篇论文说的逆推,这个过程非常慢
研究方法
研究目标是用 pair 的方式搞一个 image2image 的编辑方式,不用 latent
code 编辑了
然后是研究方法,方法很简单,就是用 stylegan 生成图片,然后打标签,获取不同的类的平均中心,然后算不同类之间的变化向量,文章用的是最简单的方法
然后,用 stylegan 解耦合编辑的功能,向正变化方向和负变化方向移动,生成一堆数据,然后筛选,得到 pair 的数据
有了训练集,训一个 pix2pix 的网络
实验
然后来看一些实验,pix2pix 是一个监督的方法,stargan,munit 这些都是非监督的转换方法,可以看到我们这个方法的直观效果,还有 fid 都更低
还有和 latent-based 方法做对比,也发现我们这种 image2image 的转换方式更好一些
来看一些具体的效果,比如这个年龄变化,效果非常不错
文章是用 image2image 的方式做的,训练集就是用 latent
based 方法做的,分三个层,文章的方法是把 sourceA 和 sourceB 的图片接在一起变成 6 通道,
结论
文章的结论就是提了一个又快又好的编辑算法
局限性
就是 stylegan2 的解耦合也不是非常彻底,虽然训练集是筛过的,但是其实也没有很好
第二就是改进或者换 pix2pix
视频版
StyleGAN2 Distillation for Feed-forward Image Manipulation论文分享(ECCV2020)