学习笔记8：常用损失函数之交叉熵（Cross Entropy）

1.信息量

假设X是一个离散型随机变量，其取值集合为$\mathcal{X}$，概率分布函数为$p(x)=Pr(X=x),x∈\mathcal{X}$，我们定义事件$X=x_0$的信息量为：$I(x_0)=-log(p(x_0))$ 可以理解为，一个事件发生的概率越大，则它所携带的信息量就越小，而当p(x0)=1时，熵将等于0，也就是说该事件的发生不会导致任何信息量的增加。

2.熵的概念

对于一个随机变量X而言，它的所有可能取值的信息量的期望E[I(x)]就称为熵。
X的熵的定义为：

$H(X)=E_p\log \frac{1}{p(x)}=-\sum\limits_{x∈X}p(x)\log p(x)$

如果p(x)是连续型随机变量的pdf，则熵定义为：