©PaperWeekly 原创 · 作者 | 孙裕道
学校 | 北京邮电大学博士生
研究方向 | GAN图像生成、情绪对抗样本生成
前言
该论文是关于 GAN 图像生成类的文章,并收录于 CVPR 2021。当前 GAN 表现出越来越强的性能,其生成图像的真实感也越来越难以与自然图像区分开来,但是根植于深度学习的黑盒不可解释性的问题,GAN 也存在这个问题,即 GAN 中的输入噪声如何有方向感的生成真实样本。在该论文中作者利用雅可比矩阵对输入噪声进行迭代,从而在高度非线性的高维空间中获得对图像生成过程的控制。
该论文中的方法很简单,但是其论文提供的思想可以为打开 GAN 模型可操控性的提供了一个新的思路,非常值得一读,论文中还提供了相应的源码,感兴趣的可以下载下来跑一跑。
论文标题:
Hijack-GAN: Unintended-Use of Pretrained, Black-Box GANs
论文链接:
https://arxiv.org/abs/2011.14107
代码链接:
https://github.com/a514514772/hijackgan
Hijack-GAN
Hijack-GAN 模型的框架如下所示,该框架可以分为两部分,图片的左边部分训练一个代理模型,以从预先训练的模型中提取信息,绕过访问预先训练的模型的梯度,图片的右边部分表示在梯度的引导下生成可控制性的噪声向量。
2.1 问题描述
考虑将噪声 映射到真实图像 的生成器 ,以及将图像 映射到属性空间 的一个或多个任务模型 。在该论文中作者的目标是将在噪声空间 中找到轨迹 ,使得当沿着该路径遍历时,可以逐渐实现 GAN 模型的可控制性,具体的公式如下:
其中 是损失函数,并且模型的参数和训练数据是不可访问的,这使得优化方法无法直接求解。
2.2 非线性遍历
在该论文中作者首先训练一个代理模型来从模型中提取信息,利用数据对