[nlp] KL散度与JS散度

1.KL散度

**KL散度( Kullback–Leibler divergence) **
是描述两个概率分布差异的一种测度。对于两个概率分布P、Q，二者越相似，KL散度越小。

KL散度的性质：P：真实分布，Q：P的拟合分布

非负性：KL(P||Q)>=0，当P=Q时，KL(P||Q)=0；
反身性：KL(P||P)=0
非对称性：D(P||Q) ≠ D(Q||P)
KL散度不满足三角不等式

from scipy import stats

P = [0.2, 0.4, 0.4]
Q = [0.4