信息论
Vic时代
这个作者很懒,什么都没留下…
展开
-
信息论——JS散度(Jensen-Shannon)
JS散度相似度衡量指标。现有两个分布P1P_1和P2P_2,其JS散度公式为: JS(P1||P2)=12KL(P1||P1+P22)+12KL(P2||P1+P22)JS(P_1||P_2)=\frac{1}{2}KL(P_1||\frac{P_1+P_2}{2})+\frac{1}{2}KL(P_2||\frac{P_1+P_2}{2})原创 2017-02-22 19:20:59 · 32561 阅读 · 6 评论 -
信息论——KL散度(Kullback–Leibler divergence)
KLKL散度是用于衡量分布之间的相似度的,可以认为是分布之间的“距离”。 概率分布P1P_1和P2P_2的KLKL散度为: KL(P1||P2)=Ex∼P1logP1P2KL(P_1||P_2) = E_{x\sim P_1}\log\frac{P_1}{P_2}原创 2017-02-22 19:17:56 · 5286 阅读 · 0 评论