自信息

自信息:描述单个具体事件对应的信息量

自信息的感性引入

• 对于单个消息信源，它出现的概率P(xi)越小，它的出现一定使人更加意外，所以由它产生的信息量一定越大，即P(xi)减小，用于衡量它的自信息量应该越大。
• 对于多个不同的消息所提供的信息应等于它们提供信息量之和，即信息满足可加性。
  因此我们要找到一个函数满足上述两点，即 I[P(xi)] = -logP(xi)

自信息的物理含义

• I[P(xi)] 的大小表示xi这个事件发生之前，xi发生的不确定性。
• I[P(xi)] 还可以表示 xi这个事件发生之后，xi所提供的信息，自信息由此而来，它表示事件本身所携带的信息量。

联合自信息

• 联合事件集合XY中事件 x = a， y = b的自信息定义为：I(a,b) = -logP_XY(a,b)
  简记为 I(xy) = -logP(xy)

条件自信息

• 事件x = a 在事件 x = b给定的条件下的自信息定义为 I(a|b) = -logP_X|Y(a|b);简记为I(x|y) = -logP(x|y)