【ECCV2020】【语义编辑】StyleGAN2 Distillation for Feed-forward Image Manipulation

注：拉到最后有视频版本哦

论文链接：https://arxiv.org/abs/2003.03581

文字版

这篇论文是用 stylegan 的一个曲线救国编辑算法

我也还是从这三个方面开始我的讲解

背景和动机

首先是背景，背景就是基于现在最强的 gan，stylegan 的解耦合特性，可以做图像的编辑

然后是文章的动机，对于编辑一张真实的图片，我们需要把他嵌入到 gan 的隐空间中，也就是我上一篇论文说的逆推，这个过程非常慢

研究方法

研究目标是用 pair 的方式搞一个 image2image 的编辑方式，不用 latent

code 编辑了

然后是研究方法，方法很简单，就是用 stylegan 生成图片，然后打标签，获取不同的类的平均中心，然后算不同类之间的变化向量，文章用的是最简单的方法

然后，用 stylegan 解耦合编辑的功能，向正变化方向和负变化方向移动，生成一堆数据，然后筛选，得到 pair 的数据

有了训练集，训一个 pix2pix 的网络

实验

然后来看一些实验，pix2pix 是一个监督的方法，stargan，munit 这些都是非监督的转换方法，可以看到我们这个方法的直观效果，还有 fid 都更低

还有和 latent-based 方法做对比，也发现我们这种 image2image 的转换方式更好一些

来看一些具体的效果，比如这个年龄变化，效果非常不错

作者还试了以下 stylemixing，这个我之前在讲 stylegan 的时候提过，他是通过 latent code 的替换做到的

文章是用 image2image 的方式做的，训练集就是用 latent

based 方法做的，分三个层，文章的方法是把 sourceA 和 sourceB 的图片接在一起变成 6 通道，

结论

文章的结论就是提了一个又快又好的编辑算法

局限性

就是 stylegan2 的解耦合也不是非常彻底，虽然训练集是筛过的，但是其实也没有很好

第二就是改进或者换 pix2pix

视频版

StyleGAN2 Distillation for Feed-forward Image Manipulation论文分享(ECCV2020)