交叉熵的理解

晚上看论文，本来在查表示定理相关的内容，结果莫名其妙地绕到了交叉熵上面来了，之前一直对这个概念一知半解的，看了一些知乎上的讲解，然后做个总结。

信息熵

在讲交叉熵之前先讲一下信息熵，信息熵的公式如下：
$H(X)=-{\sum }_{i=1}^{n}p(x_i)logp(x_i)$
可以把$-logp(x_i)$看做事件$x_i$所携带信息量。一般来说发生概率越小的事件携带的信息量越大，比如别人一脸激动地告诉你冬天会下雪，你会口吐芬芳：“****，这不是废话吗”，因为这句话没什么信息量，冬天下雪的概率太大了；但如果别人一脸激动地告诉你六月飞雪了，你会口吐芬芳：“**，我就说了食堂的菜太难吃了，这下老天都看不下去了”，同样是口吐芬芳（本人最近脾气有点暴躁），但相较于上次的不屑，这次更多的是震惊，毕竟六月飞雪的概率太低了；这个例子主要想解释一下为什么信息量这个表示中前面有个负号。回看信息熵的公式，我们会发现信息熵实际上讲的是某件事携带信息量的期望，我们仍以天气为例，假设明天晴天的概率是$p_1$，阴天的概率是 p 2 p_{2} p