CVPR 2021｜可操控的GAN——Hijack-GAN

©PaperWeekly 原创 · 作者 | 孙裕道

学校 | 北京邮电大学博士生

研究方向 | GAN图像生成、情绪对抗样本生成

前言

该论文是关于 GAN 图像生成类的文章，并收录于 CVPR 2021。当前 GAN 表现出越来越强的性能，其生成图像的真实感也越来越难以与自然图像区分开来，但是根植于深度学习的黑盒不可解释性的问题，GAN 也存在这个问题，即 GAN 中的输入噪声如何有方向感的生成真实样本。在该论文中作者利用雅可比矩阵对输入噪声进行迭代，从而在高度非线性的高维空间中获得对图像生成过程的控制。

该论文中的方法很简单，但是其论文提供的思想可以为打开 GAN 模型可操控性的提供了一个新的思路，非常值得一读，论文中还提供了相应的源码，感兴趣的可以下载下来跑一跑。

论文标题：

Hijack-GAN: Unintended-Use of Pretrained, Black-Box GANs

论文链接：

https://arxiv.org/abs/2011.14107

代码链接：

https://github.com/a514514772/hijackgan

Hijack-GAN

Hijack-GAN 模型的框架如下所示，该框架可以分为两部分，图片的左边部分训练一个代理模型，以从预先训练的模型中提取信息，绕过访问预先训练的模型的梯度，图片的右边部分表示在梯度的引导下生成可控制性的噪声向量。

2.1 问题描述

考虑将噪声 映射到真实图像 的生成器 ，以及将图像 映射到属性空间 的一个或多个任务模型 。在该论文中作者的目标是将在噪声空间 中找到轨迹 ，使得当沿着该路径遍历时，可以逐渐实现 GAN 模型的可控制性，具体的公式如下：

其中 是损失函数，并且模型的参数和训练数据是不可访问的，这使得优化方法无法直接求解。

2.2 非线性遍历

在该论文中作者首先训练一个代理模型来从模型中提取信息，利用数据对