【10】信息熵、KL散度、交叉熵损失

1、熵和信息熵

关系：两者的关系类似于帅哥和靓仔。

定义：用于表示一个随机事件发生时的不确定性或者信息的平均量。它是对事件发生概率分布的度量，用来衡量信息的混乱程度或者信息的不确定性。在信息理论中，一个事件发生的概率分布越均匀，即每个事件发生的概率越接近于相等，信息熵就越高。

2、相对熵和KL散度

关系：两个关系是相等。

定义：KL（Kullback-Leibler）散度是一种用来衡量两个概率分布之间差异的指标。它衡量的是从一个概率分布到另一个概率分布的信息丢失量或者信息增益量。

 

3、交叉熵

定义：交叉熵（Cross-Entropy）是一种用于衡量两个概率分布之间差异的指标，特别常用于评估分类模型的性能。它衡量的是从一个概率分布到另一个概率分布的平均编码长度或平均信息量。 

 

预测越准确，交叉熵越小。交叉熵只和真实标签的预测概率值有关。

3.1、交叉熵的最简公式

 

3.2、交叉熵的二分类公式

 普通公式，最简公式，交叉熵二分类公式，比较他们之间的计算结果

4、CrossEntropyLoss

CrossEntropyLoss是将softmax函数和交叉熵损失函数结合在一起的损失函数。在深度学习中，通常在多分类问题中使用softmax函数来将模型输出转化为类别概率分布，然后使用交叉熵损失函数来度量模型输出和真实标签之间的差异。

参考：

一个视频彻底搞懂交叉熵、信息熵、相对熵、KL散度、交叉熵损失、交叉熵损失函数、softmax函数、softmax求概率、各种熵的公式_哔哩哔哩_bilibili