简明 KL散度以及交叉熵和信息熵

一句话三者关系

信息熵完美编码，交叉熵不完美编码，相对熵是两者的差值。即：相对熵 = 交叉熵 - 信息熵。

什么是KL散度

• KL散度的概念来源于概率论和信息论中。
• KL散度又被称为：相对熵、互熵、鉴别信息、Kullback熵、Kullback-Leible散度(即KL散度的简写)。

如何理解KL散度

• 在统计学意义上来说，KL散度可以用来衡量两个分布之间的差异程度。若两者差异越小，KL散度越小，反之亦反。当两分布一致时，其KL散度为0。
• KL散度在信息论中的专业术语为相对熵。其可理解为编码系统对信息进行编码时所需要的平均附加信息量。

KL散度的应用

• 正是因为其可以衡量两个分布之间的差异，在机器学习、深度学习领域中，KL散度被广泛运用于变分自编码器中(Variational AutoEncoder, 简称VAE)、EM算法(Expectation-Maximization Algorithm)、GAN网络中。

参考文献

1. KL散度：https://hsinjhao.github.io/2019/05/22/KL-DivergenceIntroduction/
2. KL散度和交叉熵的对比：https://www.zhihu.com/question/41252833

---

博主简介：
座右铭：始于兴趣，源于热爱，成于投入。
爱丁堡大学 人工智能专业。热爱读书和写作，虽然写得不好但还会一直写。喜爱电音的渣渣音乐家，手不是很残的业余画手，有点热心过头的朋友。
所有文章都在个人博客上：discover304.top
也有一些在 CSDN 上：discover304
公众号：白泽百泽（注：内容和博客是一样的）

---