晚上看论文,本来在查表示定理相关的内容,结果莫名其妙地绕到了交叉熵上面来了,之前一直对这个概念一知半解的,看了一些知乎上的讲解,然后做个总结。
信息熵
在讲交叉熵之前先讲一下信息熵,信息熵的公式如下:
H ( X ) = − ∑ i = 1 n p ( x i ) l o g p ( x i ) H(X)=-\sum_{i=1}^{n}p(x_{i})log p(x_{i}) H(X)=−∑i=1np(xi)logp(xi)
可以把 − l o g p ( x i ) -log p(x_{i}) −logp(xi)看做事件 x i x_{i} xi所携带信息量。一般来说发生概率越小的事件携带的信息量越大,比如别人一脸激动地告诉你冬天会下雪,你会口吐芬芳:“****,这不是废话吗”,因为这句话没什么信息量,冬天下雪的概率太大了;但如果别人一脸激动地告诉你六月飞雪了,你会口吐芬芳:“**,我就说了食堂的菜太难吃了,这下老天都看不下去了”,同样是口吐芬芳(本人最近脾气有点暴躁),但相较于上次的不屑,这次更多的是震惊,毕竟六月飞雪的概率太低了;这个例子主要想解释一下为什么信息量这个表示中前面有个负号。回看信息熵的公式,我们会发现信息熵实际上讲的是某件事携带信息量的期望,我们仍以天气为例,假设明天晴天的概率是 p 1 p_{1} p1,阴天的概率是 p 2 p_{2} p