1.定义
根据查阅相关资料,知相对熵(relative entropy)又称为KL散度(Kullback–Leibler divergence,简称KLD),信息散度(information divergence),信息增益(information gain)。
KL散度是两个概率分布P和Q差别的非对称性的度量。
对一个离散随机变量的两个概率分布P和Q来说,他们的KL散度定义为:
对于连续的随机变量,定义为:
。
注:
(1)p(x) 和q(x)分别是pq两个随机变量的PDF,Dkl(P||Q)是一个数值,而不是一个函数
(2)KL散度并不满足距离的概念,应为:1)KL散度不是对称的;2)KL散度不满足三角不等式。
(3)P通常指数据集,我们已有的数据集,Q表示理论结果
2.性质
(1)尽管KL散度从直观上是个度量或距离函数,但它并不是一个真正的度量或者距离,因为它不具有对称性&#x