EigenGAN 水记 (无监督特征解耦)

EigenGAN 水记 (无监督特征解耦)

视频：BV1VD4y1w7mW 又一个GAN！EigenGAN：GAN的层特征学习，老二次元狂喜 | ICCV2021

作者主页：https://lynnho.github.io/

论文：https://arxiv.org/abs/2104.12476

项目：https://github.com/LynnHo/EigenGAN-Tensorflow （官方版）

项目：https://github.com/bryandlee/eigengan-pytorch

通过无监督方式，实现语义的特征解耦

概览

模型接受 $t$ 个正态噪声，输出一张图像

每个噪声经过一个线性变换后加到卷积的特征图上

模型

把每个卷积层都看作一个 $q$ 维子空间

第 $i$ 个子空间由三部分定义

• ${\mathbf{U}}_i=\left[{\mathbf{u}}_{i1},\dots ,{\mathbf{u}}_{iq}\right]$ ，包含 $q$ 个标准正交基，其中 ${\mathbf{u}}_{ij}\in {\mathbb{R}}^{Hi\times W_i\times C_i}$
• ${\mathbf{L}}_i=\mathrm{diag}\left(l_{i1},\dots ,l_{iq}\right)$ 基的重要性矩阵，一个 $q$ 维对角矩阵
• ${\mathbf{\mu }}_i$ 空间原点，一个 $q$ 维向量

第 $i$ 个噪声 $z_i$ 按照公式 $U_i{L}_i{z}_i+{\mu }_i$ 注入第 $i$ 个子空间

注入方法是：噪声经过公式变换到子空间后，加到前一层输出的特征图上

对了，最初的全连接层输入的 $ϵ$ ，也是正态噪声

损失函数

所有的 ${\mathbf{U}}_i,\mathbf{L},{\mathbf{\mu }}_i$ 都是可学习参数。当然，卷积核也是可学习的

有很多对抗损失是可用的 [10, 25, 1, 28]
这篇文章使用的是 hinge loss [28] 配合 $R_1$ penalty [26]

（这个 $R_1$ penalty 似乎是一种梯度约束）

注意，对 ${\mathbf{U}}_i$ 有一个正交约束， ${\Vert \mathbf{U}{i}^{\mathrm{T}}\mathbf{U}i-\mathbf{I}\Vert }_F^2$

数据集

用了 CelebA，FFHQ，Danbooru2019 Portraits 三个

模型细节

使用了 Adam 优化器

生成器输出 256*256 的图片，有6个上采样层