应用信息论基础（信息论基本概念）

信息熵

（一）随机事件的自信息

X，Y，Z表示随机变量

x,y,z,  表示随机变量的具体取值

花体   表示集合（|X|、|Y|、|Z|）

 

凸性（convexity）

直觉的定义

信息量等于传输该信息所用的代价

两个相同的信源所产生的信息量两倍于单个信源的信息量

信息是对不确定的消除

四个基本问题

随机性与概率的关系；

概率为1的事件的信息量；

概率为0的事件的信息量；

两个独立事件的联合信息量。

自信息

 

对于一个随机系统，我们如何定义信息的度量？

信息熵的唯一性定理

香农给出了信息熵函数满足的三个条件：

1、连续性

2、等概时的单调增函数特性

3、可加性

离散随机变量的信息熵

伯努利随机变量

 

信息熵形式的唯一性

1°   is contusion on 

2° 。。。。。。。。。。。。。。。。。。。。。。

公式一：

公式二：

公式三：

 

 非等概率随机事件的信息