转:信息熵学习随笔

出处:http://hi.baidu.com/liipwujian/blog/item/a7151a0a5fbe1d3a6059f3d3.html

 

信息熵学习随笔
2010-11-23 14:00

通信的数学理论：通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确或者近似的重现。

熵与信息的不确定程度有等价关系。

通信的基本问题是在消息的接收端精确或近似地复制发送端发出的消息。通信中消息的意义和效果与通信工程没有关系。

香农的信息定义：信息是用来消除不确定性的东西。

消息：是用语言、文字、数据、符号、音符、图像等能被人们的感觉器官所感知的形式，对客观物质运动和主观思维活动的一种表述。

消息中包含信息，是信息的载体，得到了消息，从而获得信息。

信号携带者消息，它是消息的运载工具。

信源：产生消息和消息序列的来源。通常信源的消息序列是随机发生的，因此需要用随机变量来描述。

通信系统形式上传输的是消息，实际上传输的是信息。

消息只是表达信息的工具、载荷信息的客体。

一个信源发出的各个符号信息的集合及其各个符号的先验概率组成一个概率空间。

信息量的直观定义：收到某消息获得的信息量 = 不确定性减少的量 =（收到该消息前关于某事件的不确定性）-（收到该事件后关于某事件的不确定性）

某事件发生所含有的信息量应该是该事件发生先验概率的函数.这个就是事件的自信息。

自信息有两个含义：就是某个事件它本身所包含的信息量。
1，当事件发生前，表示该事件发生的不确定性。
2，当事件发生后，表示该事件所提供的信息量。

自信息量的单位取决于对数所取的底，若以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特,通常取比特为单位。

必然事件出现的概率为1，从中获得的信息量为0；

概率小的信息出现的信息量大于概率大的消息出现时提供的信息量。

信息熵：就是自信息的平均信息量。具有以下两种物理含义：
1，表示信源输出前信源的平均不确定性。
2，表示信源输出后，每个符号所携带的平均信息量。
可用来判断两个信源的不确定性大小。

熵（信息熵）从整个集合的统计特征来考虑，从平均意义上来表征信源的总体特征。（自信息不可以，因为他不是从整个集合来考虑的）
自信息量I(x1 )和I(x2 )只是表征信源中各个符号的不确定度，一个信源总是包含着多个符号消息，各个符号消息又按概率空间的先验概率分布，因而各个符号的自信息量就不同。所以自信息量不能作为信源总体的信息量。

信息熵与信息平均信息量的区别：信息熵面对的是整个信源，它描述的是信源的每一个输出信号平均的信息量。而信息的平均信息量，只是针对特定的信息而言的。此信息中并不是必须包含信源所有可能的输出信号。
因此这两个东西有着本质的区别。

联合概率分布：假设信源发出序列中只有前后两个符号间有依赖关系。由此得出联合概率分布，进而推出联合熵的概念。

联合熵：表征信源输出长度为2的平均不确定性，或信源输出的长度为2的信号所含有的信息量。

 

熵的基本性质：
1，对称性：熵的取值与分量的顺序无关。
2，确定性，从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其他符号则是几乎不可能出现，那么，这个信源是一个确知信源，其熵等于零。（一直出现的那个：lg1 = 0，几乎    不出现的那些：P（x） = 0，所以结果就是0了）
3，非负性：注意，对连续信源来说这一性质并不存在。
4，扩展性：就是当信源的取值增多时，若这些增多的取值对应的概率很小（趋近于零），则信源的熵不变。
5，可加性：统计独立信源X和Y的联合信源的熵（联合熵）等于信源X和Y各自的熵之和。
6，强可加性：（两个互相关联的信源X和Y的联合信源的熵）= （信源X的熵）+ （在X已知条件下信源Y的条件熵）。
7，递增性：若原信源X中有一个符号分割成了m个元素（符号），这m个元素的概率之和等于原元素的概率，而其他符号的概率不变，则新信源的熵增加。根据递增性，推出了一个公式，用于计算分割后的熵。
8，上凸性：熵函数使概率矢量的严格上凸函数，所以熵函数具有极值，其最大值存在。
9，极值性：在离散信源情况下，信源各符号等概率分布时，熵值达到最大。该性质表明，等概率分布信源的平均不确定性最大，称为最大离散熵定理。