交叉熵损失函数

在信息论中，用于衡量两个概率分布之间的差异。

P(x)代表真实分布的概率，Q(x)代表在预测分布中的概率，log代表自然对数。交叉熵越小，表示预测分布和真实分布越接近，性能越好。

在机器学习中用于损失函数。例如，在多分类问题中，交叉熵损失函数为：

其中，C表示类别数，y代表真实标签的one-hot编码，p是模型的预测概率。因此模型与真实标签的预测越接近，损失函数越小。
交叉熵损失函数还具有平滑性和凸性质，能够保证优化过程的稳定性和收敛性。