一：各种熵的定义及理解

一、自信息I(ai):表示单个符号ai所携带的信息量，或者理解为单个时间发生时所包含的信息。

二、信源信息熵：输出各消息的自信息量I(ai)的数学期望。表示为，其中X是一个随机事件，如概率空间(X,P(X))。信息熵描述的有如下两个意思：

1）描述信源X的平均不确定性

2）平均每个信源符号所携带的信息量

三、条件熵：H(X|Y)==，其中代表条件自信息I(x|y),即观察到y以后x出现的不确定性。

思考：为什么条件熵用的是一个联合概率乘以条件自信息而不是用条件概率乘以条件自信息？

当给定条件Y=y时，,上面说到，熵描述的是平均每个符号

所携带的信息量，对于Y={y1,y2,...,yn}有:，y的边缘概率乘以条件概率得到联合概率p(x,y)。

可以理解为对于符号空间X中的每个符号xi，观察到Y={y1,y2,...,yn}后xi出现的不确定性。

四、联合熵：H(XY)=,联合熵一般用于扩展信源中。

H(XY)=H(Y)+H(X|Y)：XY的联合不确定度等于知道Y的不确定度以后再加上知道Y的不确定度的条件下X的不确定度。