# 相对熵（KL散度）计算过程

KL散度（Kullback-Leibler Divergence）也叫做相对熵，用于度量两个概率分布之间的差异程度。

## 离散型

DKL(PQ)=i=1nPilog(PiQi) D K L ( P ∥ Q ) = ∑ i = 1 n P i l o g ( P i Q i )

D(PQ)=0.2×log(0.20.4)+0.4×log(0.40.2)+0.4×log(0.40.4)=0.2×0.69+0.4×0.69+0.4×0=0.138(3) (3) D ( P ∥ Q ) = 0.2 × l o g ( 0.2 0.4 ) + 0.4 × l o g ( 0.4 0.2 ) + 0.4 × l o g ( 0.4 0.4 ) = 0.2 × − 0.69 + 0.4 × 0.69 + 0.4 × 0 = 0.138

Python代码实现，离散型KL散度可通过SciPy进行计算：

from scipy import stats

P = [0.2, 0.4, 0.4]
Q = [0.4, 0.2, 0.4]
stats.entropy(P,Q) # 0.13862943611198905

P = [0.2, 0.4, 0.4]
Q = [0.5, 0.1, 0.4]
stats.entropy(P,Q) # 0.3195159298250885

P = [0.2, 0.4, 0.4]
Q = [0.3, 0.3, 0.4]
stats.entropy(P,Q) # 0.03533491069691495


KL散度的性质：

1. DKL(PQ)0 D K L ( P ∥ Q ) ≥ 0 $D_{KL}(P \parallel Q) \geq 0$，即非负性
2. DKL(PQ)DKL(QP) D K L ( P ∥ Q ) ≠ D K L ( Q ∥ P ) $D_{KL}(P \parallel Q) \ne D_{KL}(Q \parallel P)$，即不对称性

## 连续型

DKL(PQ)=+p(x)logp(x)q(x)dx D K L ( P ∥ Q ) = ∫ − ∞ + ∞ p ( x ) l o g p ( x ) q ( x ) d x

（没怎么用到，后面再补吧）

05-08 2万+
10-06 5639

03-26 7万+
10-01 720
02-16 550
05-17 583
03-28 3054
05-20 474
10-23 4055
04-11 313