交叉熵

• 信息量：事件的信息量为事件发生的概率的自然对数值取负。

• 熵：所有信息量的期望，即信息量与事件发生概率的乘积的和取负。

• 相对熵：KL散度。如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x) 和 Q(x)，我们可以使用 KL 散度（Kullback-Leibler (KL) divergence）来衡量这两个分布的差异。在机器学习中，P往往用来表示样本的真实分布，比如[1,0,0]表示当前样本属于第一类。Q用来表示模型所预测的分布，比如[0.7,0.2,0.1]。直观的理解就是如果用P来描述样本，那么就非常完美。而用Q来描述样本，虽然可以大致描述，但是不是那么的完美，信息量不足，需要额外的一些“信息增量”才能达到和P一样完美的描述。如果我们的Q通过反复训练，也能完美的描述样本，那么就不再需要额外的“信息增量”，Q等价于P。相对熵为P和Q的信息量之差与事件发生概率（p）的乘积之和。从计算方式上看，可以发现其实P分布是分析的中心，而实际分析对象是Q分布。这个值越小，分布越接近。

• 交叉熵：Q的概率对数与P的概率的乘积之和取负。在机器学习中，我们需要评估label和predicts之间的差距，使用KL散度刚刚好，由于KL散度中的前一部分−H(y)不变，故在优化过程中，只需要关注交叉熵就可以了。所以一般在机器学习中直接用用交叉熵做loss，评估模型。

参考自博文，好文 👍👍