信息论 讲义（1）

一.自信息与互信息
定义2.1：随机事件的自信息量定义为该事件发生概率的对数的负值，即I(x) = -logp(x)

注：通常取对数的底为2，信息量的单位为比特。当取对数的底为2时，2常省略。
若取对数的底为e，自信息量的单位为奈特。常用于理论推导和连续信源
工程上常用10，则其单位为哈莱特
若取以r为底的对数，I(x)=-logr p(x) r进制单位
1r进制单位 = log2 r 进制单位

定义2.2：一个事件y关于另一个事件x的信息定义为互信息，用I(x;y)表示
I（x;y)=I（x) - I(x|y) = -logp(x)+logp(x|y)=logp(x|y)/p(x)

理解：一个概率为1的事件的自信息量是0，一个概率接近0的事件的自信息量是接近无穷的。也就是说自信息量反应的是事件的不确定度。自信息量越大也即不确定度越大，发生概率越小。而互信息是在已知一个y事件后所消除的关于x事件的不确定性,是一个被消除的量。也就是说，互信息量越大，这个事件对确定x事件就越有效。

定义2.3：随机变量X的每一个可能取值的自信息I(x)的统计平均值定义为随机变量X的平均自信息量 也即H(X)=-Σp(xi)logp(xi)。平均自信息量又可称为信息熵

二.熵函数：信息熵H(x)是随机变量X的概率分布的函数，所以又成为熵函数。如果把概率分布p(xi),i=1,2…q，记为p1,p2..pq，则熵函数又可写成概率矢量p = (p1,p2…pq)的函数形式，记为H(p)。
H(p) =-Σpilogpi=H(p1,p2…,pq） =H(X)

性质&