相对熵（KL散度）计算过程

KL散度（Kullback-Leibler Divergence）也叫做相对熵，用于度量两个概率分布之间的差异程度。

离散型

$$D_{KL}(P \parallel Q)= \sum_{i=1}^{n}P_i log(\frac{P_i}{Q_i})$$

比如随机变量$X \sim P$取值为$1,2,3$时的概率分别为$[0.2, 0.4, 0.4]$，随机变量$Y \sim Q$取值为$1,2,3$时的概率分别为$[0.4, 0.2, 0.4]$，则：

$$\begin{equation} \begin{aligned} D(P \parallel Q) & =0.2 \times log(\frac{0.2}{0.4}) + 0.4 \times log(\frac{0.4}{0.2}) + 0.4 \times log(\frac{0.4}{0.4}) \\ & =0.2 \times -0.69 + 0.4 \times 0.69 + 0.4\times0 \\ & = 0.138 \end{aligned} \end{equation}$$

Python代码实现，离散型KL散度可通过SciPy进行计算：

from scipy import stats

P = [0.2, 0.4, 0.4]
Q = [0.4, 0.2, 0.4]
stats.entropy(P,Q) # 0.13862943611198905

P = [0.2, 0.4, 0.4]
Q = [0.5, 0.1, 0.4]
stats.entropy(P,Q) # 0.3195159298250885

P = [0.2, 0.4, 0.4]
Q = [0.3, 0.3, 0.4]
stats.entropy(P,Q) # 0.03533491069691495

KL散度的性质：

1. $D_{KL}(P \parallel Q) \geq 0$，即非负性。
2. $D_{KL}(P \parallel Q) \ne D_{KL}(Q \parallel P)$，即不对称性。

连续型

$$D_{KL}(P \parallel Q) =\int_{-\infty }^{+ \infty} p(x) log \frac{p(x)}{q(x)} dx$$

（没怎么用到，后面再补吧）