使用辅助分类器 GAN 进行条件图像合成

Conditional Image Synthesis with Auxiliary Classifier GANs

Conditional Image Synthesis with Auxiliary Classifier GANs（简称AC-GANs）是一种用于改善生成对抗网络（GANs）进行图像合成的方法。在AC-GANs中，判别器除了要区分生成的图像与真实图像外，还额外承担了一个分类任务，即对输入图像的类别进行分类。这种方法可以提高生成图像的质量，并且能够生成具有特定类别标签的图像。

AC-GANs的关键在于引入了辅助分类器（Auxiliary Classifier），这个分类器被集成在判别器中，用于对输入图像的类别进行分类。判别器的输出包括两部分：一部分是判断图像是真实还是生成的，另一部分是对图像类别的预测。

在AC-GANs中，生成器的损失函数由两部分组成：

真实性损失（Adversarial Loss）：生成器试图生成判别器难以区分的图像。
分类损失（Classification Loss）：生成器生成的图像还要符合给定的类别标签。
这种结构不仅提高了图像的全局一致性，而且增加了生成图像的类别信息。实验表明，AC-GANs能够生成具有较高分辨率和类别一致性的图像样本。

class DiscriminatorACGAN(nn.Module):

    def __init__(self, x_dim, c_dim, dim=96, norm='none', weight_norm='spectral_norm'):
        super(DiscriminatorACGAN, self).__init__()

        norm_fn = _get_norm_fn_2d(norm)
        weight_norm_fn = _get_weight_norm_fn(weight_norm)

        def conv_norm_lrelu(in_dim, out_dim, kernel_size=3, stride=1, padding=1):
            return nn.Sequential(
                weight_norm_fn(nn.Conv2d(in_dim, out_dim, kernel_size, stride, padding)),
                norm_fn(out_dim),
                nn.LeakyReLU(0.2)
            )

        self.ls = nn.Sequential(  # (N, x_dim, 32, 32)
            conv_norm_lrelu(x_dim, dim),
            conv_norm_lrelu(dim, dim),
            conv_norm_lrelu(dim, dim, stride=2),  # (N, dim , 16, 16)

            conv_norm_lrelu(dim, dim * 2),
            conv_norm_lrelu(dim * 2, dim * 2),
            conv_norm_lrelu(dim * 2, dim * 2, stride=2),  # (N, dim*2, 8, 8)

            conv_norm_lrelu(dim * 2, dim * 2, kernel_size=3, stride=1, padding=0),
            conv_norm_lrelu(dim * 2, dim * 2, kernel_size=1, stride=1, padding=0),
            conv_norm_lrelu(dim * 2, dim * 2, kernel_size=1, stride=1, padding=0),  # (N, dim*2, 6, 6)

            nn.AvgPool2d(kernel_size=6),  # (N, dim*2, 1, 1)
            torchlib.Reshape(-1, dim * 2),  # (N, dim*2)
        )

        self.l_gan_logit = weight_norm_fn(nn.Linear(dim * 2, 1))  # (N, 1)
        self.l_c_logit = nn.Linear(dim * 2, c_dim)  # (N, c_dim)

    def forward(self, x):
        # x: (N, x_dim, 32, 32)
        feat = self.ls(x)
        gan_logit = self.l_gan_logit(feat)
        l_c_logit = self.l_c_logit(feat)
        return gan_logit, l_c_logit

在训练生成器与鉴别器时，额外添加了一个分类损失函数