KL Divergence

参考文章：
KL散度(Kullback-Leibler Divergence)介绍及详细公式推导
变分自编码器(VAE)推导

KL散度简介

KL散度的概念来源于概率论和信息论中。KL散度又被称为：相对熵、互熵、鉴别信息、Kullback熵、Kullback-Leible散度(即KL散度的简写)。在机器学习、深度学习领域中，KL散度被广泛运用于变分自编码器中(Variational AutoEncoder,简称VAE)、EM算法、GAN网络中。是描述两个概率分布P和Q差异的一种方法。

KL散度定义

KL散度的定义是建立在熵(Entropy)的基础上的。此处以离散随机变量为例，先给出熵的定义，再给定KL散度定义。

若一个离散随机变量X的可能取值为$X=x_1,x_2,\cdots ,x_n$，而对应的概率为$p_i=p(X=x_i)$，则随机变量$X$的熵定义为：
$$H(X)=-\sum _i^n=p(x_i)lo{g}_p(x_i)$$规定当$p(x_i)=0时,p(x_i)lo{g}_p(x_i)=0$
若有两个随机变量$P、Q$，且其概率分布分别为$p(x)、q(x)$，则$p$相对$q$的相对熵为：

$$D_{KL}(p||q)=\sum _i^{n}p(x)log\frac{p(x)}{q(x)}$$
之所以称之为相对熵，是因为其可以通过两随机变量的交叉熵(Cross-Entropy)以及信息熵推导得到：
针对上述离散变量的概率分布$p(x)、q(x)$而言，其交叉熵定义为：
$$H(p,q)=\sum _{x}p(x)log\frac{1}{q(x)}=-\sum _{x}p(x)logq(x)$$
在信息论中，交叉熵可认为是对预测分布$q(x)$用真实分布$p(x)$来进行编码时所需要的信息量大小。
因此，KL散度或相对熵可通过下式得出：

$$D_{KL}(p||q)=H(p,q)-H(p)=-\sum _{x}p(x)logq(x)-\sum _x-p(x)logp(x)=-\sum _{x}p(x)log\frac{q(x)}{p(x)}$$

代码

import numpy as np
from scipy import *

def asymmetricKL(P,Q):
    return sum(P * log(P / Q)) #calculate the kl divergence between P and Q
 
def symmetricalKL(P,Q):
    return (asymmetricKL(P,Q)+asymmetricKL(Q,P))/2.00

KL = scipy.stats.entropy(P,Q) 

服从一维高斯分布的随机变量KL散度

服从多元高斯分布的随机变量KL散度