【Python深度学习】——交叉熵|KL散度|交叉熵损失函数

1. 交叉熵Cross Entropy

1.1 交叉熵的含义

交叉熵是两个概率分布之间差异的一种度量.
在机器学习中被广泛应用，尤其是分类问题中。

1.2 交叉熵的公式

$$H(P,Q)=-\sum _{i}P(x_i)\log Q(x_i)$$
其中, $$P(x_i)$$是真实分布中第 ( i ) 个事件的概率;
$$Q(x_i)$$是模型预测分布中第 ( i ) 个事件的概率。

1.3 交叉熵的特点

1. 当模型的预测分布 𝑄 越接近真实分布 𝑃 时，交叉熵值越小。
2. 交叉熵的值总是大于系统真实熵的值。

2. KL散度

2.1 KL散度的含义

KL散度也称为相对熵, 它也是度量两个概率分布之间差异的一种方式. 它是以Kullback和Leibler两个人命名的.

2.2 KL散度的公式

假设有两个概率分布 𝑃 和 𝑄，其中 𝑃 是真实分布，𝑄 是模型的预测分布。KL散度表示二者的交叉熵与熵的差:
$$D_{KL}(P\parallel Q)=H(P,Q)-H(P)$$
代入之前交叉熵和熵的公式, 可以得出:
$$D_{KL}(P\parallel Q)=-\sum _{i}P(x_i)\log Q(x_i)-\left(-\sum _{i}P(x_i)\log P(x_i)\right)$$
合并化简得到:
$$D_{KL}(P\parallel Q)=\sum _{i}P(x_i)\log \frac{P(x_i)}{Q(x_i)}$$

2.3 KL散度的性质

1. 非负性
   $$D_{KL}(P\parallel Q)\ge 0$$
   当且仅当 𝑃 = 𝑄 时，
   $$D_{KL}(P\parallel Q)=0⟺P=Q$$
2. 非对称性:
   $$D_{KL}(P\parallel Q)\ne D_{KL}(Q\parallel P)$$

KL散度遵循Jensen不等式，其推导基于凸函数的性质。对数函数是凹函数，因此：
$$D_{KL}(P\parallel Q)\ge 0$$

2.4 KL散度的常用场景

KL散度广泛应用于很多机器学习算法中,如变分自编码器、生成对抗网络等。它可以作为目标函数来优化模型参数,从而提高模型性能。

3. 交叉熵损失函数

交叉熵损失函数（Cross-Entropy Loss Function）是机器学习中常用的一种损失函数，特别适用于训练神经网络的二分类、多分类问题。它通过比较实际的标签分布与模型预测的概率分布，衡量模型预测的准确性。

3.1 交叉熵损失函数的定义与公式

交叉熵损失函数的目标是最小化预测概率分布与真实分布之间的差异。对于真实分布P 和预测分布 𝑄，交叉熵
𝐻(𝑃,𝑄) 的定义为
$$L(y,\hat{y})=-\sum _{i=1}^K{y}_i\log {\hat{y}}_i$$

$y_i$是实际标签的独热编码（one-hot encoding）如果真实类别是 𝑖，则 $y_i=1$, 其余为 0;
${\hat{y}}_i$ 是模型预测的类别 𝑖 的概率。