Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks

Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks

类似于SAGAN的出发点，传统CNN仅仅考虑图像的局部信息，没有考虑全局范围内不同区域的联系，而capsule是可以建模图像的空域相关性的，因此用capsule network代替CNN作为判别器，使生成的图像具有结构性。

Wasserstein loss:

$$\max_{w\in W}\quad E_{x\sim p(x)}(D_w(x)) - E_{z\sim p(z)}D_w(G_\theta(z))$$

文章介绍了两种结构，第一种是针对任意类别进行图像生成的
模型结构如下图所示，包括transpose convolution生成器和capsule判别器，后者包括两个capsule层

Loss结合Wasserstein loss和Capsule的marginal loss

$$\max_\theta \min_w L_{x\sim p(x)}(x)+L_{z\sim p(z)}(G_\theta(z))$$

第二种是针对特定类别进行图像生成的，首先将one-hot类别向量与随机输入 z z <script type="math/tex" id="MathJax-Element-431">z</script>连接起来输入与上述相同的生成器，然后输入capsule判别器中，但是这里的判别器有两个capsule分类器，一个用于判断图像的真实性，另一个判断图像类别。使用的loss与前一种相似