python 3计算KL散度（KL Divergence）

KL Divergence

KL（ Kullback–Leibler） Divergence中文译作KL散度，从信息论角度来讲，这个指标就是信息增益（Information Gain）或相对熵（Relative Entropy），用于衡量一个分布相对于另一个分布的差异性，注意，这个指标不能用作距离衡量，因为该指标不具有对称性，即两个分布$P$和$Q$，$D_{KL}(P|Q)$与$D_{KL}(Q|P)$计算的值一般不相等，若用作距离度量，一般需要对公式加以修改，后文讲到。
KL Divergence的计算公式为
对于离散分布

$$D_{KL}(P|Q)=\sum\limits_i P(i)\log \frac{P(i)}{Q(i)}$$
对于连续分布
$$D_{KL}(P|Q)=\int_{-\infty}^{\infty}p(x)\log\frac{p(x)}{q(x)}dx$$

程序

利用python 3计算

import numpy as np
import scipy.stats

# 随机生成两个离散型分布
x = [np.random.randint(1, 11) for i in range(10)]
print(x)
print(np.sum(x))
px = x / np.sum(x)
print(px)
y = [np.random.randint(1, 11) for i in range(10)]
print(y)
print(np.sum(y))
py = y / np.sum(y)
print(py)

# 利用scipy API进行计算
# scipy计算函数可以处理非归一化情况，因此这里使用
# scipy.stats.entropy(x, y)或scipy.stats.entropy(px, py)均可
KL = scipy.stats.entropy(x, y) 
print(KL)

# 编程实现
KL = 0.0
for i in range(10):
    KL += px[i] * np.log(px[i] / py[i])
    # print(str(px[i]) + ' ' + str(py[i]) + ' ' + str(px[i] * np.log(px[i] / py[i])))

print(KL)