Cherish_present的博客

KL 散度（KL Divergence），也叫相对熵，是用概率分布 𝑞 来近似 𝑝 时所造成的信息损失量．KL 散度是按照概 率分布𝑞的最优编码对真实分布为𝑝的信息进行编码，其平均编码长度（即交叉 熵）𝐻(𝑝, 𝑞) 和 𝑝 的最优平均编码长度（即熵）𝐻(𝑝) 之间的差异．对于离散概率 分布𝑝和𝑞，从𝑞到𝑝的KL散度定义为。KL散度总是非负的，KL(𝑝, 𝑞) ≥ 0，可以衡量两个概率分布之间的距离．KL 散度只有当𝑝 = 𝑞时，KL(𝑝, 𝑞) = 0．如果两个分布越接近，KL散度越小；