AttnGAN

AttnGAN

摘要

• 本文提出了一种注意力生成对抗网络(AttnGAN)，该网络通过注意力驱动的多阶段细化来实现细粒度的文本到图像生成。借助注意力生成网络，AttnGAN可以通过关注自然语言描述中的相关单词来合成图像不同子区域的细粒度细节。

• 此外，提出了一种注意力集中的多模态相似度模型，以计算出细粒度的图像-文本匹配损失，以训练生成器。

AttenGAN明显优于现有的技术，在CUB数据集上比之前的最优结果提升14.14%，在更具挑战性的COCO数据集上提高了170.25％。

• 还可以通过可视化AttnGAN的注意层来执行详细分析。它首次显示出分层注意力GAN能够在单词级别自动选择条件以生成图像的不同部分。

AttnGAN 结构

AttnGAN的体系结构。每个注意力模型会自动检索用于生成图像的不同子区域的条件（即最相关的词向量）；
DAMSM为生成网络提供了细粒度的图文匹配损失。

Attentional Generative Network

多阶段图像生成：

1. 将文本embedding得到word features和sentence features;
2. 利用sentence features生成一个低分辨率的图像；
3. 在低分辨率的图像上进一步加入word features和sentence features来生成更高分辨率的图像。

低分辨率图像生成

$$h_0=F_0\left(z,F^{ca}(\bar{e})\right)$$

$z$是从标准正态分布中采样的随机噪声；

$\bar{e}$是全局句子矢量；

同大多数Text2Image模型一样，AttnGAN也是利用随机噪声和全局句子矢量生成图像。

第一阶段生成一个低分辨率的图片

细粒度图像生成

在接下来的$i$部分内，每一部分都利用AttnGAN来为图像增加细节部分。

$$h_i=F_i\left(h_{i-1},F_i^{attn}\left(e,h_{i-1}\right)\right)\text{f}ori=1,2,\dots ,m-1$$

$${\hat{x}}_i=G_i\left(h_i\right)$$

对输入图片的每一部分，匹配最相关的单词向量来约束其生成，增加图像的细粒度细节。匹配图像子区域和最相关的单词公式如下：
$$c_j=\sum _{i=0}^{T-1}{\beta }_{j,i}{e}_i^{\prime },\text{w}here{\beta }_{j,i}=\frac{\exp \left(s_{j,i}^{\prime }\right)}{{\sum }_{k=0}^{T-1}\exp \left(s_{j,k}^{\prime }\right)}$$

$$s_{j,i}^{\prime }=h_j^T{e}_i^{\prime }$$

Multi-modal loss

为了生成具有多个级别（即句子级别和单词级别）条件的真实图像，注意力生成网络的最终目标功能定义为:
$$\mathcal{L}={\mathcal{L}}_G+\lambda {\mathcal{L}}_{DAMSM},\text{w}here{\mathcal{L}}_G=\sum _{i=0}^{m-1}{\mathcal{L}}_{G_i}$$

$\lambda$是一个超参数，可以平衡方程的两个项；

第一项是GAN损失：
$${\mathcal{L}}_{G_i}=\underset{\text{unconditional loss }}{\underbrace{-\frac{1}{2}{\mathbb{E}}_{{\hat{x}}_i\sim p_{G_i}}[\log \left(D_i\left({\hat{x}}_i\right)\right]}}\underset{\text{conditional loss }}{\underbrace{-\frac{1}{2}{\mathbb{E}}_{{\hat{x}}_i\sim p_{G_i}}[\log \left(D_i\left({\hat{x}}_i,\bar{e}\right)\right]}},$$

无条件损失确定图像是真实的还是伪造的，而条件损失确定图像和句子是否匹配。

第二项是DAMSM损失

此外，每个判别器$D_i$也经过训练，通过最小化交叉熵损失来判断输入的真伪：
$$\begin{array}{rl}{\mathcal{L}}_{D_i}=& \underset{\text{unconditional loss }}{\underbrace{-\frac{1}{2}{\mathbb{E}}_{x_i\sim p_{{\text{data }}_i}}\left[\log D_i\left(x_i\right)\right]-\frac{1}{2}{\mathbb{E}}_{{\hat{x}}_i\sim p_{G_i}}[\log \left(1-D_i\left({\hat{x}}_i\right)\right]}}+\\ & \underset{\text{conditional loss }}{\underbrace{-\frac{1}{2}{\mathbb{E}}_{x_i\sim p_{{\text{data }}_i}}\left[\log D_i\left(x_i,\bar{e}\right)\right]-\frac{1}{2}{\mathbb{E}}_{{\hat{x}}_i\sim p_{G_i}}[\log \left(1-D_i\left({\hat{x}}_i,\bar{e}\right)\right]}}\end{array}$$

其中，$x_i$是来自真实图片，${\hat{x}}_i$是模型生成的数据，AttnGAN的鉴别器在结构上是不相交的，因此可以并行训练它们。

Deep Attentional Multimodal Similarity Model

DAMSM包含了两个神经网络，它们将图像的子区域和句子的单词映射到公共语义空间，从而度量图像-文本相似度，从而计算图像生成的细粒度损失。

文本编码器

是双向的LSTM，用来从文本描述中提取语义向量，

图像编码器

图像编码器是将图像映射到语义向量的卷积神经网络（CNN）。CNN的中间层学习图像的不同子区域的局部特征，而后面的层学习图像的全局特征。

The attention-driven image-text matching score

用于基于图像和文本之间的注意力模型来衡量图像句子对的匹配

1. 首先为图像中句子和子区域中所有可能的单词对计算相似度矩阵：
   $$s=e^{T}v$$

2. 归一化处理：

$${\bar{s}}_{i,j}=\frac{\exp \left(s_{i,j}\right)}{{\sum }_{k=0}^{T-1}\exp \left(s_{k,j}\right)}$$

3. 建立一个注意力模型来计算每个单词（查询）的区域上下文向量

$$c_i=\sum _{j=0}^{288}{\alpha }_j{v}_j,\text{w}here{\alpha }_j=\frac{\exp \left({\gamma }_1{\bar{s}}_{i,j}\right)}{{\sum }_{k=0}^{288}\exp \left({\gamma }_1{\bar{s}}_{i,k}\right)}$$

4. 使用余弦相似度来定义单词和图像之间的相关性

$$R\left(c_i,e_i\right)=\left(c_i^T{e}_i\right)/\left(\Vert c_i\Vert \Vert e_i\Vert \right)$$

$$R(Q,D)=\log {\left(\sum _{i=1}^{T-1}\exp \left({\gamma }_{2}R\left(c_i,e_i\right)\right)\right)}^{\frac{1}{{\gamma }_2}}$$

The DAMSM loss

被设计为以半监督方式学习注意力模型，其中唯一的监督是整个图像和整体（单词序列）之间的匹配。

对图像-句子对 { ( Q i , D i ) } i = 1 M \left\{\left(Q_{i}, D_{i}\right)\right\}_{i=1}^{M} {(Qi​,Di​)}i=1M​，句子$D_i$和图像$Q_i$匹配的后验概率被计算为：
$$P\left(D_i\mid Q_i\right)=\frac{\exp \left({\gamma }_{3}R\left(Q_i,D_i\right)\right)}{{\sum }_{j=1}^M\exp \left({\gamma }_{3}R\left(Q_i,D_j\right)\right)}$$
将损失函数定义为图像与其对应的文本描述（groundtruth）匹配的负对数后验概率
$${\mathcal{L}}_1^w=-\sum _{i=1}^M\log P\left(D_i\mid Q_i\right)$$
最后，DAMSM损失定义为：
$${\mathcal{L}}_{DAMSM}={\mathcal{L}}_1^w+{\mathcal{L}}_2^w+{\mathcal{L}}_1^s+{\mathcal{L}}_2^s$$

数据集

本次实验使用的数据集是加利福尼亚理工学院鸟类薮据库2011(CUB_2002011)

实验结果

源自论文：