非香农类信息不等式_信息量、熵 、交叉熵与softmax、KL散度

1. 信息：用来表征 消除 消息不确定性的物理量
2. 信息量： 随事件发生概率 单调递减,
3. 熵：信息量的期望

昨天下雨这个事件，因为已知，那么它的信息量就为0。

明天会下雨这个事件，因为未知，那么这个事件的信息量就大。

事件发生的概率越小，（但对其进行预测，那么）其信息量越大。

比如，你告诉我，赛马中哪匹是第一，信息量很大（有价值）。告诉我明天太阳会升起，信息量很小（说了等于没说）

忆臻：通俗理解信息熵​zhuanlan.zhihu.com

一个具体事件的信息量不能为负。

如果有俩不相关的事件x和y，那么观察到的俩个事件同时发生时 获得的信息应该等于 观察到的事件各自发生时 获得的信息之和，即：

h(x,y) = h(x) + h(y)

由于x，y是俩不相关的事件，那么满足p(x,y) = p(x)*p(y). (其实独立才能把概率拆开, 原文这里应该错了)

信息量公式如下：

(香农应该有严格推导)

（1）有一个负号: 确保信息非负

（2）底数为2: 对数的选择是任意的。我们只是遵循信息论的普遍传统，使用2作为对数的底！有看过用10的.

熵：信息量的期望

随机变量X的熵