【GAN】用于生成图像的评价指标——IS和FID

在使用GAN进行图像生成任务中，我们的目的就是为了得到高质量的生成图像，那么总得需要个度量指标来衡量生成的图像是否是“高质量”的吧？不能完全靠人眼主观判断。这里提到生成图像的“高质量”，主要从两方面考虑：

• 图像本身的质量。如：是否清晰，内容是否完整，是否逼真等等。
• 多样性。最终的生成器所生成的图像需要多种多样的，不能只生成一种或几种类型的图像，产生的这种现象称为模式崩溃（Mode collapse）。

---

下面介绍两个在文献中常用的评价指标，IS（Inception Score）和FID（Fréchet Inception Distance）。

一、IS（Inception Score）

Inception Score[1] 使用在ImageNet上预训练的Inception V3 Network作为分类网络，将生成器生成的图像输入到Inception V3 Network中，对该网络输出值（图像所属类别）做统计分析。
IS的计算公式如下：
$$IS(G)=\exp ({\mathbb{E}}_{\mathbf{x}\sim p_g}{D}_{KL}(p(y|\mathbf{x})||p(y)))\text{\hspace{1em}(1)}$$
其中：

• $\mathbf{x}\sim p_g$表示$\mathbf{x}$是从$p_g$中生成的图像样本。
• $D_{KL}(p||q)$表示分布$p$和$q$间的KL散度（衡量两个分布间距离）。
• $p(y|\mathbf{x})$表示在给定图像$\mathbf{x}$下分类为$y$的概率（$\in [0,1{]}^{1000}$，表示ImageNet中的1000类）。
• $p(y)={\int }_{x}p(y|\mathbf{x})p_g(x)$，表示类别的边缘分布。
• $\exp$是便于比较最终计算的IS值。

IS值越大说明模型效果越好。

之所以IS公式考虑分布$p(y|\mathbf{x})$和$p(y)$，是出于以下两个目的[2]：

• 所生成图像中需要包含清楚的目标或者说$p(y|\mathbf{x})$要有较低的熵。$p(y|\mathbf{x})$反映出图片的生成质量，概率值越大，说明生成的图像属于$y$类的可能性越高，也就表明生成的质量越高。最理想的情况是分布$p(y|\mathbf{x})$集中在某一值，即该分布的熵很低。因此，$p(y|\mathbf{x})$的熵越低，生成图像的质量越好。
• 生成器要能生成ImageNet中多种类型的图像，保持多样性或者说$p(y)$要有较高的熵。$p(y)$指的是生成图像的类别分布，假如有$n$类，理想情况是$p(y_1)=p(y_2)=\cdots =p(y_n)=1/n$，即类别分布是一个均匀分布，这时具有较高的熵。因此，$p(y)$的熵越高，生成图像的多样性越好。

如果满足上述两个特性，我们想要$p(y|\mathbf{x})$和$p(y)$的KL散度越大，从IS公式中看出IS值也越大。我们从推导中来看一看IS如何与$p(y|\mathbf{x})$和$p(y)$的熵联系起来的。这里直接附上文献[2]中的证明过程，对公式(1)左右两边取$ln$：

而互信息（Mutual Information）$I(y;\mathbf{x})$
$$I(y;\mathbf{x})=H(y)-H(y|\mathbf{x})\text{\hspace{1em}(2)}$$
因此
$$ln(IS(G))=H(y)-H(y|\mathbf{x})\text{\hspace{1em}(3)}$$
由(3)式我们就可以轻易看出，$p(y)$的熵越大，$p(y|\mathbf{x})$的熵越小，IS值越大。

---

实际计算：
先利用模型生成若干图片${\mathbf{x}}^i$来计算先验类别边缘分布$\hat{p}(y)$：
$$\hat{p}(y)=\frac{1}{N}\sum _{i=1}^{N}p(y|{\mathbf{x}}^i)\text{\hspace{1em}(4)}$$
其中$N$表示由模型生成的样本图片数目。之后可以求$IS(G)$的近似值：
$$IS(G)\approx \exp (\frac{1}{N}\sum _{i=1}^N{D}_{KL}(p(y|{\mathbf{x}}^i)||\hat{p}(y)))\text{\hspace{1em}(5)}$$
对每张图像计算$p(y|{\mathbf{x}}^i)$，再求它与$\hat{p}(y)$的KL散度，再取平均、取指数。
在计算最终IS时，通常在$N=5000$下计算10次，再计算IS值的均值和标准差。

缺点：[2]

• IS计算公式没有考虑真实图像（Ground Truth），不能反映出生成图像与真实图像是否相近[3]。
• 由于使用Inception Network，为此对网络权重变化较敏感。（不同深度学习框架中内置的Inception V3网络权重有细微不同，计算得到的IS会有差距。）
• 在利用ImageNet以外的数据集计算IS时，没什么意义。（Inception V3是在ImageNet下训练的，而待评估的生成模型是在其他数据集上生成的，这种跨数据集计算IS是不正确的。这就需要分类模型和生成模型都在同一数据集上训练而来，才能得到可用于比较的IS。）

IS弊端还是不少的，下文的FID可以克服上述缺点。

补充知识点
互信息（Mutual Information）度量的是两个随机变量间相互依赖的程度。
假设有两个随机变量$X$和$Y$，它们的互信息定义为：
$$I(X;Y)=\sum _{x\in X}\sum _{y\in Y}p(x,y)\log \left(\frac{p(x,y)}{p(x)p(y)}\right)$$
其中$p(x,y)$是随机变量$X$和$Y$的联合概率分布，$p(x)$和$p(y)$分别是$X$和$Y$的边缘概率分布。
性质：

• 当$X$和$Y$相互独立时，$p(x,y)=p(x)p(y)$，$I(X;Y)=0$。
• 互信息是非负的，对称的。

再介绍下条件熵（Conditional Entropy）。给定随机变量$X$的条件下，随机变量$Y$的条件熵定义为：
$$\begin{array}{rl}H(Y|X)& =\sum _{x\in X}p(x)H(Y|X=x)\\ & =\sum _{x\in X}p(x)[-\sum _{y\in Y}p(y|x)\log p(y|x)]\\ & =-\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(y|x)\end{array}$$
那么，有：
$$\begin{array}{rl}I(X;Y)& =\sum _{x\in X}\sum _{y\in Y}p(x,y)\log (\frac{p(x,y)}{p(x)p(y)})\\ & =\sum _{x\in X}\sum _{y\in Y}p(x,y)\log (\frac{p(x|y)}{p(x)})\\ & =\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(x|y)-\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(x)\\ & =-H(X|Y)-\sum _{x\in X}(\sum _{y\in Y}p(x,y))\log p(x)\\ & =-H(X|Y)-\sum _{x\in X}p(x)\log p(x)\\ & =-H(X|Y)+H(X)\\ & =H(X)-H(X|Y)\\ & =H(Y)-H(Y|X)\end{array}$$
互信息的含义：
我们以$I(X;Y)=H(X)-H(X|Y)$为例，互信息即在测量引入$Y$之后导致的$X$的不确定性减少的程度。互信息越大，说明$X$和$Y$间关系越强；反小，$X$和$Y$越趋于相互独立。

下面给出互信息、条件熵、联合熵间的韦恩图：

有关更详细内容，请移步：信息论 – 熵与互信息和什么是「互信息」？

---

二、FID（Fréchet Inception Distance）

FID（Fréchet Inception Distance）[4]是用来计算真实图像与生成图像的特征向量间距离的一种度量，这里的特征向量是由Inception v3 Network得到的。Inception v3 Network是一个分类网络，网络结构的最后两层为全连接层，以得到$1\ast 1\ast 1000$分类向量，而FID采用的是倒数第二个全连接层的输出$1\ast 1\ast 2048$维图像特征向量用于距离度量。
我们用这个距离来衡量真实图像和生成图像的相似程度，如果FID值越小，则相似程度越高。最好情况即是FID=0，两个图像相同。

FID值越小说明模型效果越好。

假设真实分布$P_r$和生成分布$P_g$建模为多维高斯分布，参数分别为$({\mu }_r,{\Sigma }_r)$和$({\mu }_g,{\Sigma }_g)$，其中$\mu$和$\Sigma$分别为均值向量和协方差矩阵。FID的计算公式为：
$$d^2(({\mu }_r,{\Sigma }_r),({\mu }_g,{\Sigma }_g))=\Vert {\mu }_r-{\mu }_g{\Vert }^2+Tr({\Sigma }_r+{\Sigma }_g-2({\Sigma }_r{\Sigma }_g{)}^{\frac{1}{2}})$$
其中$Tr$表示矩阵的迹（矩阵对角元之和）。

---

实际计算：
那在计算FID时呢，一般性我们假设特征向量维数为$n$，那么均值向量$\mu$的维数为$n$，协方差矩阵$\Sigma$的维数为$n\ast n$。首先分别选取真实图像和生成图像各$N$张，计算得到的特征向量有$N\ast n$维，之后分别计算这$N$个样本对应的均值向量$\mu$和协方差矩阵$\Sigma$，即得到了真实分布$P_r$和生成分布$P_g$对应的参数。详细计算代码可参考：How to Implement the Frechet Inception Distance (FID) for Evaluating GANs

缺点：
与IS同样基于特征的方法，不能很好区分指标的好坏是由生成图像质量问题还是生成多样性问题导致的[3]。IS和FID同样还不能描述特征的空间关系[6]。

---

参考文献

[1] Improved techniques for training gans. (NeurIPS2016)
[2] A Note on the Inception Score.
[3] How good is my GAN?.(ECCV2018) (引用了其Related work部分)
[4] Gans trained by a two time-scale update rule converge to a local nash equilibrium. (NeurIPS2017)
[5] GAN生成图像质量的两个评价指标——IS与FID
[6] 【深度理解】如何评价GAN网络的好坏？IS（inception score）和FID（Fréchet Inception Distance）
[7] How to Implement the Frechet Inception Distance (FID) for Evaluating GANs