相对熵（KL散度）计算过程

KL散度（Kullback-Leibler Divergence）也叫做相对熵，用于度量两个概率分布之间的差异程度。

离散型

$$D_{KL}(P\parallel Q)=\sum _{i=1}^n{P}_{i}log(\frac{P_i}{Q_i})$$

比如随机变量$X\sim P$取值为$1,2,3$时的概率分别为$[0.2,0.4,0.4]$，随机变量$Y\sim Q$取值为$1,2,3$时的概率分别为$[0.4,0.2,0.4]$，则：

$$\begin{array}{rl}D(P\parallel Q)& =0.2\times log(\frac{0.2}{0.4})+0.4\times log(\frac{0.4}{0.2})+0.4\times log(\frac{0.4}{0.4})\\ & =0.2\times -0.69+0.4\times 0.69+0.4\times 0\\ & =0.138\end{array}$$

Python代码实现，离散型KL散度可通过SciPy进行计算：

from scipy import stats

P = [0.2, 0.4, 0.4]
Q = [0.4, 0.2, 0.4]
stats.entropy(P,Q) # 0.13862943611198905

P = [0.2, 0.4, 0.4]
Q = [0.5, 0.1, 0.4]
stats.entropy(P,Q) # 0.3712595980731252

P = [0.2, 0.4, 0.4]
Q = [0.3, 0.3, 0.4]
stats.entropy(P,Q) # 0.03397980735907956

KL散度的性质：

1、 $D_{KL}(P\parallel Q)\ge 0$，即非负性。
2、 $D_{KL}(P\parallel Q)\ne D_{KL}(Q\parallel P)$，即不对称性。

连续型

$$D_{KL}(P\parallel Q)={\int }_{-\infty }^{+\infty }p(x)log\frac{p(x)}{q(x)}dx$$

（没怎么用到，后面再补吧）