GAN上的水印，神经网络的IP验证

#GAN上的水印，神经网络的IP验证
这篇Protecting Intellectual Property of Generative Adversarial Networks from Ambiguity Attacks是杨强团队21年发在CVPR上的，但是其实是篇IP验证的论文，只不过验证的场景是GAN上的。（确实像这种产生式网络更需要知识产权保护）
文章主要内容如下：
文章主要从两个方面提出了IP认证及产权保护的方式，还是传统的黑盒和白盒方法，举了三个例子：DCGAN，SRGAN和CycleGAN上，但是其实方法都大差不差。

一，首先黑盒（black　box）：
主要思想就是通过trigger　set来验证，但是trigger　set的选取和传统的神经网络不太一样：
他在整个操作过程中有两个transformation　function——ｆ和ｇ。分别在generator输入之前和输出之后，这两个input/output transformation functions的作用就是通过给图片打上水印的方式给GAN打上水印。
1.DCGAN：
DCGAN的输入是latent　vector（设为ｚ），ｚ在经过input transformation function处理之后产生　　　　ｆ（ｚ）：满足

也就是将原始的输入打上水印ｗ。对于原始的输入，经过G网络之后会产生的图片，在output transformation function，ｇ的作用下，会给图片打上水印，
也就是说，ｇ的作用就是：

训练的时候，想要的目的就是原始图片打上水印之后再经过G　网络，生成的图片G（ｚ）的水印会被保留下来，甚至是在之前的水印的基础上会变成另一个特定的水印。这样的话经过G的图片就都被打上了特定的水印啦~所以这时候我们要在训练的时候加上一个正则器（regularization）：

这个正则器的训练目标函数的主体是structural similarity (SSIM) 也就是结构相似度函数。所以总的来说，训练的目标函数如下：
其他两种思想上也大差不差的，简单说一下～

2.SRGAN：
SRGAN的输入是一个低分辨率的图像（ low resolution image）Ｉ，产生的是一个高分辨率的图像（respective high resolution image），所以这时候就不能直接像之前一样用之前定义的input transformation function，ｆ来直接对原始输入添加水印啦。于是文章新定义了一个input transformation function，ｈ，这时候ｈ给输入I添加的就是一个随机噪声（random noise），也就是：
但是对于输出来说，就直接保留之前的output transformation function，ｇ就好了。他的损失函数，包括两部分，一部分就是传统的GAN的adversarial loss，另一部分是加入水印之后的content loss。所以作者在这里直接用了VGG　loss【１】于是，最后的损失函数就能够定义为：
其中，

3.CycleGAN
CycleGAN将输入I转化为同尺寸的输出，这样的情况，还是可以用之前的input transformation function，ｆ就好了，所以训练的时候也可以像第一个一样用之前定义的正则项。并且这里需要注意的是，虽然CycleGAN有两个产生器，但是只需要选择其中一个作为插入水印的主题就够了（毕竟只要能验证出水印就好了）。所以损失函数的组成部分还是那两部分：

其中

二，white　box白盒的验证：
因为还是杨强团队的文章，所以这篇的白盒验证基本采用了之前scale　factor的方式，只是换了个场景。（可以参考之前的博客～添加链接描述）
在normalization layers加上scaling　factors，γ，并在训练的时候加上

使得所得的γ形成一个特定的分布，其中B是给定的01向量：

所以最后的目标函数（分别对应三个GAN网络）就是这个啦～

　　主要内容就到这里啦，后面都是实验的部分，还有一些解释，大家详细内容可以去看看具体文章，我这里就不解释啦～

【１】Christian Ledig, Lucas Theis, Ferenc Huszar, Jose ´Caballero, Andrew Cunningham, Alejandro Acosta,Andrew Aitken, Alykhan Tejani, Johannes Totz, Zehan Wang, et al. Photo-realistic single image superresolution using a generative adversarial network. In　CVPR, pages 4681–4690, 2017