交叉熵和相对熵（KL散度）

信息量

熵

当一个事件发生的概率为 P(x)，那么它的信息量是 -log(p(x))。

那么熵就是信息量的期望。假如事件X有n种可能x1，x2，...，xn，发生xi的概率是p（xi），那么熵H（X）定义如下：

对于0-1分布问题（二项分布的特例），熵的计算方法可以简化为如下算式：

相对熵（KL散度）

相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量。

在机器学习中，P用来表示样本的真实分布，Q用来表示模型所预测的分布，那么KL散度就可以计算两个分布的差异，也就是Loss损失值。

交叉熵

将KL散度的公式进行如下转换：

其中前半部分的H(p(x))是P分布的熵，是个不变值。所以我们最小化KL散度，等同于最小化后半部分（即交叉熵）

简单讲，则P和Q的KL散度=P的熵-P和Q的交叉熵，最大化相对熵（KL散度）等价于最小化交叉熵。

所以一般在机器学习中直接用用交叉熵做loss函数。

对于有N个样本，M个类别的交叉熵损失函数如下：