深度学习剖根问底：交叉熵和KL散度的区别

信息熵代表的是随机变量或整个系统的不确定性，熵越大，随机变量或系统的不确定性就越大。

根据真实分布，我们能够找到一个最优策略，以最小的代价消除系统的不确定性，而这个代价大小就是信息熵，记住，信息熵衡量了系统的不确定性，而我们要消除这个不确定性，所要付出的【最小努力】（猜题次数、编码长度等）的大小就是信息熵。

交叉熵，其用来衡量在给定的真实分布下，使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力的大小。

在机器学习中的分类算法中，我们总是最小化交叉熵，因为交叉熵越低，就证明由算法所产生的策略最接近最优策略，也间接证明我们算法所算出的非真实分布越接近真实分布。

我们如何去衡量不同策略之间的差异呢？这就需要用到相对熵，其用来衡量两个取值为正的函数或概率分布之间的差异。

以上参考：https://blog.csdn.net/u012740294/article/details/79642613

 

交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量真实分布p与当前训练得到的概率分布q有多么大的差异。

相对熵（relative entropy）就是KL散度（Kullback–Leibler divergence），用于衡量两个概率分布之间的差异。

对于两个概率分布和 ，其相对熵的计算公式为：

注意：由于 和 在公式中的地位不是相等的，所以。

相对熵的特点，是只有 时，其值为0。若 和 略有差异，其值就会大于0。

相对熵公式的前半部分 就是交叉熵（cross entropy）。

若 是数据的真实概率分布， 是由数据计算得到的概率分布。机器学习的目的就是希望尽可能地逼近甚至等于 ，从而使得相对熵接近最小值0。由于真实的概率分布是固定的，相对熵公式的后半部分 就成了一个常数。相对熵的值大于等于0(https://zhuanlan.zhihu.com/p/28249050,这里给了证明),那么相对熵达到最小值的时候，也意味着交叉熵达到了最小值。对 的优化就等效于求交叉熵的最小值。另外，对交叉熵求最小值，也等效于求最大似然估计（maximum likelihood estimation）。