机器学习_KL散度详解（全网最详细）

KL散度（Kullback-Leibler divergence），可以以称作相对熵（relative entropy）或信息散度（information divergence）。KL散度的理论意义在于度量两个概率分布之间的差异程度，当KL散度越大的时候，说明两者的差异程度越大；而当KL散度小的时候，则说明两者的差异程度小。如果两者相同的话，则该KL散度应该为0。

接下来我们举一个具体的🌰：

我们设定两个概率分布分别为$P$和$Q$，在设定为连续随机变量的前提下，他们对应的概率密度函数分别为$p(x)$和$q(x)$。如果我们用$q(x)$去近似$p(x)$，则KL散度可以表示为：

$$KL(P||Q)=\int p(x)\log \frac{p(x)}{q(x)}dx$$

从上面的公式可以看出，当且仅当$P=Q$时，$KL(P||Q)=0$。此外我们可以知道KL散度具备非负性，即$KL(P||Q)>=0$。并且从公式中我们也发现，KL散度不具备对称性，也就是说$P$对于$Q$的KL散度并不等于$Q$对于$P$的KL散度。因此，KL散度并不是一个度量（metric），即KL散度并非距离。

我们再来看看离散的情况下用$q(x)$去近似$p(x)$的KL散度的公式：

$$KL(P||Q)=\sum p(x)\log \frac{p(x)}{q(x)}$$

接下来我们对上面的式子进行展开：

$$KL(P||Q)=\sum p(x)\log \frac{p(x)}{q(x)}=-\sum p(x)\log (q(x))+\sum p(x)\log (p(x))=H(P,Q)-H(P)$$

最后得到的第一项称作$P$和$Q$的交叉熵（cross entropy），后面一项就是熵。

在信息论中，熵代表着信息量，$H(P)$代表着基于$P$分布自身的编码长度，也就是最优的编码长度（最小字节数）。而$H(P,Q)$则代表着用$Q$的分布去近似$P$分布的信息，自然需要更多的编码长度。并且两个分布差异越大，需要的编码长度越大。所以两个值相减是大于等于0的一个值，代表冗余的编码长度，也就是两个分布差异的程度。所以KL散度在信息论中还可以称为相对熵（relative entropy）。

对深度学习中的生成模型来说，我们希望最小化真实数据分布与生成数据分布之间的KL散度，从而使得生成数据尽可能接近真实数据的分布。在实际场景中，我们是几乎不可能知道真实数据分布$P_{data}(x)$的，我们使用训练数据形成的生成分布在逼近$P_{data}(x)$。