分类问题为什么要用交叉熵

一提到分类，大家想到的损失函数就是交叉熵，但是有没有想过为什么分类问题要用交叉熵损失，为什么不用均方误差损失呢？本文将详细介绍交叉熵的由来，并分析为什么不使用均方误差。

🤗欢迎关注公众号 funNLPer🤗

---

1. 信息熵

信息熵就是信息的不确定程度，信息熵越小，信息越确定
$$信息熵=\sum 事件x发生的概率\ast 验证事件x需要的信息量$$

事件发生的概率越低，需要越多的信息去验证，所以验证真假需要的信息量和事件发生的概率成反比，假设信息量为$I(x)$
$$I(x)=-logp(x)$$

其中负号是用来保证信息量是正数或者零，$p(x)$是事件$x$发生的概率，$I(x)$ 也被称为随机变量 $x $的自信息 (self-information)，描述的是随机变量的某个事件发生所带来的信息量

信息熵即所有信息量的期望
$$H(X)=-\sum _{x}p(x)\log (p(x))=-\sum _{i=1}^{n}p\left(x_i\right)\log \left(p\left(x_i\right)\right)$$

其中 $n$ 为事件的所有可能性

2. 相对熵（KL散度）

相对熵又称KL散度，如果对于同一个随机变量$x$有两个单独的概率分布$p(x)$和 $q(x)$，可以使用相对熵来衡量这两个分布的差异。

$$D_{KL}(p\Vert q)=\sum _{i=1}^{n}p\left(x_i\right)\log$$