On Adversarial Mixup Resynthesis论文阅读笔记

On Adversarial Mixup Resynthesis

目的

本文主要的工作是利用GAN和MixUp的技术来对两个图像进行混合，生成新的图像，具体效果如下图所示：

方法细节

无监督部分

首先，利用encoder-decoder模式来在对图像进行提取特征和重构，为了让重构的图像与原始的输入差别尽可能的小，使用了L2 loss
$$mi{n}_F{E}_{x\sim p(x)}||x-g(f(x))|{|}_2$$
在这里，$g$是decoder，$f$是encoder。做这一步的目的是为了后续对$f(x)$做一些更改后输出任然是一个图片，而不是生成乱码。

然后，作者为了让生成的图片更加真实，在这里还利用了GAN里面的detector，并模仿GAN的训练模式，一方面让decoder生成的图像令detector无法分辨，一方面又提高detector的分辨准确率，具体使用俩个loss实现：
$$\begin{gathered} mi{n}_F{E}_{x\sim p(x)}\lambda ||x-g(f(x))|{|}_2+l_{GAN}(D(g(f(x))),1) \\ ma{x}_D{E}_{x\sim p(x)}{l}_{GAN}(D(x),1)+l_{GAN}(D(g(f(x))),0) \end{gathered}$$
在这里，$l_{GAN}$是BCELoss，具体可以去看GAN论文。通过这一步，可以让decoder生成的图片越来越像真实图片。

接着，作者又对混合后的图像也使用了GAN技术
$$\begin{gathered} mi{n}_F{E}_{x,x^{\prime }\sim p(x)}\lambda ||x-g(f(x))|{|}_2+l_{GAN}(D(g(f(x))),1)+l_{GAN}(D(g(Mix(f(x),f(x^{\prime })))),1) \\ ma{x}_D{E}_{x,x^{\prime }\sim p(x)}{l}_{GAN}(D(x),1)+l_{GAN}(D(g(f(x))),0)+l_{GAN}(D(g(Mix(f(x),f(x^{\prime })))),0) \end{gathered}$$
这里的$Mix(.,.)$函数就是利用了MixUp技术，具体表示为：
$$Mix(h1,h2)=\alpha h1+(1-\alpha )h2$$
具体可以看MixUp和manifold MixUp 这两篇论文。

该方法是基于无监督的，可以自动生成两种输入图像的混合模式。

有监督部分

首先，对于一个标签，作者使用了MLP对他进行编码后得到一个伯努利分布的参数$P$，并利用该参数进行伯努利采样得到一个和隐层特征channel数目相同的mask $m$，接着用这个$m$对隐层进行MixUp得到混合的特征，具体如下图所示：

为了方便记录，作者将该过程写为${\tilde{h}}_{mix}=Mi{x}_{sup}(h_1,h_2,{\tilde{y}}_{mix})$，且记${\tilde{y}}_{mix}=\alpha y_1+(1-\alpha )y_2$

该过程的loss为：
$$\begin{gathered} mi{n}_F{E}_{x_1,y_1\sim p(x,y),x_2,y_2\sim p(x,y),\alpha \sim U(0,1)}{l}_{GAN}(D(g({\tilde{h}}_{mix})),1)+l_{cls}(p(y|g({\tilde{h}}_{mix})),{\tilde{y}}_{mix}) \\ mi{n}_D{E}_{x_1,y_1\sim p(x,y),x_2,y_2\sim p(x,y),\alpha \sim U(0,1)}{l}_{GAN}(D(g({\tilde{h}}_{mix})),0) \end{gathered}$$