fid和is_【GAN】用于生成图像的评价指标——IS和FID

在使用GAN进行图像生成任务中，我们的目的就是为了得到高质量的生成图像，那么总得需要个度量指标来衡量生成的图像是否是“高质量”的吧？不能完全靠人眼主观判断。这里提到生成图像的“高质量”，主要从两方面考虑：

图像本身的质量。如：是否清晰，内容是否完整，是否逼真等等。

多样性。最终的生成器所生成的图像需要多种多样的，不能只生成一种或几种类型的图像，产生的这种现象称为模式崩溃(Mode collapse)。

下面介绍两个在文献中常用的评价指标，IS(Inception Score)和FID(Fréchet Inception Distance)。

一、IS(Inception Score)

Inception Score[1] 使用在ImageNet上预训练的Inception V3 Network作为分类网络，将生成器生成的图像输入到Inception V3 Network中，对该网络输出值(图像所属类别)做统计分析。

IS的计算公式如下：

I S ( G ) = exp ⁡ ( E x ∼ p g D K L ( p ( y ∣ x ) ∣ ∣ p ( y ) ) ) (1) IS(G)=\exp(\mathbb{E}_{\mathbf{x}\sim p_g}D_{KL}(p(y|\mathbf{x}) || p(y))) \tag 1IS(G)=exp(Ex∼pg​​DKL​(p(y∣x)∣∣p(y)))(1)

其中：

x ∼ p g \mathbf{x} \sim p_gx∼pg​表示x \mathbf{x}x是从p g p_gpg​中生成的图像样本。

D K L ( p ∣ ∣ q ) D_{KL}(p || q)DKL​(p∣∣q)表示分布p pp和q qq间的KL散度(衡量两个分布间距离)。

p ( y ∣ x ) p(y|\mathbf{x})p(y∣x)表示在给定图像x \mathbf{x}x下分类为y yy的概率(∈ [ 0 , 1 ] 1000 \in [0, 1]^{1000}∈[0,1]1000，表示ImageNet中的1000类)。

p ( y ) = ∫ x p ( y ∣ x ) p g ( x ) p(y)=\int_x p(y|\mathbf{x})p_g(x)p(y)=∫x​p(y∣x)pg​(x)，表示类别的边缘分布。

exp ⁡ \expexp是便于比较最终计算的IS值。

IS值越大说明模型效果越好。

之所以IS公式考虑分布p ( y ∣ x ) p(y|\mathbf{x})p(y∣x)和p ( y ) p(y)p(y)，是出于以下两个目的[2]：

所生成图像中需要包含清楚的目标或者说p ( y ∣ x ) p(y|\mathbf{x})p(y∣x)要有较低的熵。p ( y ∣ x ) p(y|\mathbf{x})p(y∣x)反映出图片的生成质量，概率值越大，说明生成的图像属于y yy类的可能性越高，也就表明生成的质量越高。最理想的情况是分布p ( y ∣ x ) p(y|\mathbf{x})p(y∣x)集中在某一值，即该分布的熵很低。因此，p ( y ∣ x ) p(y|\mathbf{x})p(y∣x)的熵越低，生成图像的质量越好。

生成器要能生成ImageNet中多种类型的图像，保持多样性或者说p