主要参考博文:
https://www.jianshu.com/p/43318a3dc715?isappinstalled=0
https://blog.csdn.net/chdhust/article/details/8506260
K-L散度
K-L散度,量化两种概率分布P和Q之间差异的方式,又叫相对熵。
如果数据的分布模型非常复杂,可以使用另外一种简单的、近似的分布来替代原模型,用K-L散度来很度量替代过程损失的信息量。
1、K-L散度的定义
2、熵
最重要的信息度量单位:Entropy
对数的底数取2的时候,可以把该等式的数值看作是编码信息所需要的最少二进制位个数bits。
如果有一个信息给我们,我们可以求解熵的数值获取这个信息数据最优编码方案的理论下界,也可以用于度量该信息的信息量。
3、信息损失
设p为观察得到的概率分布,q为另一分布来近似p,则p、q的K-L散度如下:
当对数的底数取2,则K-L散度表示信息损失的二进制位数。
前半部分形式和熵计算公式基本一致,后半部分则有不同,故K-L散度不是简单的熵值相减
K-L散度的计算公式不符合对称性(距离度量应该满足对称性),故也不能理解为不同分布之间的距离
也就是说,用p近似q和用q近似p,二者所损失的信息并不是一样的。
另外:用一个新分布去度量原始分布,信息必定有损失,故K-L散度必定大于0,这里可以用Jensen不等式证明上面等式始终大于0。
DKL(Q||P) = -∑Q(x)log[P(x)/Q(x)] = E[-logP(x)/Q(x)] ≥ -logE[P(x)/Q(x)] = -log∑Q(x)P(x)/Q(x) = 0
4、优化模型
一般通过最小化K-L散度,优化等效模型
给出新的分布模型,该模型的参数向量作为输入量
可以通过计算给出一个最小化K-L散度的参数向量,就是新的分布模型参量
5、交叉熵
在神经网络中往往使用交叉熵损失函数,而不是相对熵?
后续学习补充……
6、应用于推荐系统
在使用LDA(Latent Dirichlet Allocation)计算物品的内容相似度时
先计算出物品在话题上的分布,然后利用两个物品的话题分布计算物品的相似度。
比如,如果两个物品的话题分布相似,则认为两个物品具有较高的相似度,反之则认为两个物品的相似度较低。计算分布的相似度可以利用KL散度来计算:KL散度越大说明分布的相似度越低。