信息论基础

信息论基础

信息论背后的思想：一件不太可能的事件比一件比较可能的事件更有信息量。

信息 (Information) 需要满⾜的三个条件：

• ⽐较可能发⽣的事件的信息量要少。
• ⽐较不可能发⽣的事件的信息量要⼤。
• 独⽴发⽣的事件之间的信息量应该是可以叠加的。例如，投掷的硬币两次正⾯朝上传递的信息量，应该是投掷⼀次硬币正⾯朝上的信息量的

自信息 (Self-Information)：对事件 x = x，我们定义：

⾃信息满⾜上⾯三个条件，单位是奈特 (nats) （底为 e）

香农熵 (Shannon Entropy)：上述的⾃信息只包含⼀个事件的信息，⽽对于整个概率分布 P，不确定性可以这样衡量：

也可以表⽰成 H§。⾹农熵是编码原理中最优编码长度。

多个随机变量：

联合熵 (Joint Entropy)：表⽰同时考虑多个事件的条件下（即考虑联合分布概率）的熵。

• 条件熵 (Conditional Entropy)：表⽰某件事情已经发⽣的情况下，另外⼀件事情的熵。

互信息 (Mutual Information)：表⽰两个事件的信息相交的部分。

信息变差 (Variation of Information)：表⽰两个事件的信息不相交的部分。