百度百科相对熵
在概率论或信息论中,KL散度( Kullback–Leibler divergence),又称相对熵(relative entropy),信息散度(information divergence),信息增益(information gain),是描述两个概率分布P和Q差异的一种方法。它是非对称的,这意味着D(P||Q) ≠ D(Q||P)。特别的,在信息论中,D(P||Q)表示当用概率分布Q来拟合真实分布P时,产生的信息损耗,其中P表示真实分布,Q表示P的拟合分布。
有人将KL散度称为KL距离,但事实上,KL散度并不满足距离的概念,因为:1)KL散度不是对称的;2)KL散度不满足三角不等式。
KL散度是两个概率分布P和Q差别的非对称性的度量。
对一个离散随机变量的两个概率分布P和Q来说,他们的KL散度定义为:
对于连续的随机变量,定义为:
。