熵小结

信息量

与事件发生概率大小相关，发生概率越大，信息量越大。

设事件 $x$ 发生的概率为 $p(x)$ ，那么该事件的信息量为：$I(x)=-log(p(x))$ 。

熵

在信息论和概率统计中，熵表示随机变量不确定性的度量。设随机变量为 $X$ ，即事件 $X$ 发生的可能性共有 $n$ 个，每个可能 $x_i$ 发生的概率为 $p(x_i)$ ，那么所有信息量的期望就是熵，计算公式为：

$$H(X)=-\sum _{i=1}^{n}p(x_i)log(p(x_i))$$

若事件只有两个可能性，比如投掷硬币出现正反面，熵为：

$$H(X)=-p(x)log(p(x))-(1-p(x))log(1-p(x))$$

相对熵 (KL散度)

假设事件 $X$ 有两个分布 $P(x)$ 和 $Q(x)$ ，比如真实分布和模型训练出来的分布，可以用 KL散度衡量两个分布之间的差异，即模型损失函数：

$$D_{KL}(p||q)=\sum _{i=1}^{n}p(x_i)log\frac{p(x_i)}{q(x_i)}$$

可以看出，当真实分布和模型训练出来的分布越接近时，相对熵越小，损失值越小。

交叉熵

化简一下相对熵：

$$D_{KL}(p||q)=\sum _{i=1}^{n}p(x_i)log\frac{p(x_i)}{q(x_i)}=\sum _{i=1}^{n}p(x_i)logp(x_i)-\sum _{i=1}^{n}p(x_i)logq(x_i)=-H(X)-\sum _{i=1}^{n}p(x_i)logq(x_i)$$ 可以看出相对熵恰好是由熵减去一部分组成，后面那部分就是交叉熵，

$$H(p,q)=-\sum _{i=1}^{n}p(x_i)logq(x_i)$$

因为 $H(X) $ 是不变的，所以在衡量真实标签与预测值时，可以直接使用交叉熵作为损失函数。

二分类情况下，给定真实标签 $y_i$ 和预测标签 $p_i$ ，交叉熵损失函数为：

$$loss=-[ylogp+(1-y)log(1-p)]$$