【CVPR2021】【语义编辑】SeFa(Closed-Form Factorization of Latent Semantics in GANs)论文分析

注:拉到最后有视频版本哦

论文链接:https://arxiv.org/pdf/2007.06600v2.pdf

文字版

我分享一篇用无监督做语义编辑的论文,这篇文章应该是投了 nips,他官网没有更新应该是没有中

-20210308更新- CVPR2021 oral!

我还是从这四个方面来介绍

背景和动机

第一是背景,背景就是 GAN 中有很多语义属性等待我们去发掘

然后是动机,首先我们回顾下上次讲的 interfacegan,这篇文章是基于一个假设,就是在 GAN 的隐空间中,pair 的属性可以通过一个超平面去分开。但是这种做法有一定的问题,就是他处理的属性都必须先由一个标准去定义,比如年龄,随便找个网络都能回归,微笑,悲伤这类的表情也是这样。但是我们多想一步,不是所有的属性都很容易有清晰的定义的,简单来说就是没法打标签,举几个例子,比如一个人的发型,比如他的眼睛性状,肤质等等,再比如一辆车的朝向,性状,打光下来的形式,这些都没法定义。

方法

下面是文章的研究目标,因为有些特征没法打标签,就是用监督的方式没法做,所以希望提出一个无监督的方式来得到这些变化向量

然后是文章的方法,把 stylegan 的网络进行一次简化,如图所示

然后做一个假设,我们假设 FC 层的输出变化很大的时候,图片也会有很大的变化,然后看公式

为了解决上面的优化问题,文章使用了拉格朗日乘数法,把 kkt 条件加进去得到

可以看到其实这是一个特征值与特征向量的形式,然后我们把矩阵进行特征分解,得到的对角矩阵的对角是特征值,正交矩阵的列是特征向量,同时我们也可以知道,输出的特征向量,也就是我们的方向全是正交的,经过公式推导发现经过 FC 到 w 的 latent space,向量也是互相正交的

实验

然后来看实验,在实验前我说一句作者是怎么做实验的,方法不是可以算出很多个特征值和对应的特征向量嘛,特征向量就是我们要的 direction,也就是属性变化方向。作者按特征值大小排序后一个个试,找到姿态,性别,年龄等变化最大的向量,然后做实验

首先和基于采样的无监督方法做对比,第一行是 PCA 的方法,可以看到 PCA 的表现能力很弱,几乎不能编辑,第二行是文章的方法,可以看到和第三行有监督的方法已经很接近了

然后是和基于学习的无监督方法对比,可以看到,编辑效果超过 infogan

接着是和有监督的 interfacegan 做对比,第一个指标是解耦合性的评价,re-score 是编辑前后打分的变化,比如给一个人脸加姿态的变化,我们希望姿态的分数变化很大,其他的分数不变。最优结果就是对角矩阵

然后是多元性的比较,这全部是 sefa 的结果,因为 interfacegan 没法定义这些属性

可以看到变化是很多元的,比如发型颜色,发型种类等

接着是用求得的向量在真实图片上做编辑,这里的 inversion 是用的之前那篇文章,in-domain 做的,可以看到效果还是非常不错的,但我觉得整体来说效果不如有监督的 interfacegan

然后是一个泛化能力,具体来说,由于 FC 是八层的,这里做了 layer-wise 的实验,求特征值的时候只选用某几层,我们可以看到在其他模型上也能达到很不错的变化效果,这个还是很震撼的

最后一个实验是在条件 gan 上做的,可以看到在这种条件 gan 上,对不同种类的生成图片也能做一些编辑

结论

文章的结论就是用一个无监督的方式来分解 gan 中的语义信息

不足

最后是不足,第一点,就是这个工作是一个累活,我估计 100 个向量也找不到几个好用的,第二,因为假设的原因,文章的性能是很受 FC 局限的,如果 FC 没训好,那这个工作就很受影响

视频版

【不知道有没有中nips】Closed-Form Factorization of Latent Semantics in GANs

 

  • 9
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值