信息理论-信源及信源熵

1.1信源和信源的不确定性
信源发出消息，经过信道到达信宿，信宿收到消息，获得了信息，这个过程就称作通信。

• 1.1不确定性的概念
  (1)离散信源：若一类信源输出的消息常常是以一个个符号的形式的出现，符号的取值是离散可数的，这样的信源称为离散信源。
  (2)消息是以一定的概率出现的，所以可以采用概率空间来描述。
  信源的不确定程度与概率空间的消息数和消息的概率分布有关。
  信源的消息为等概率分布时，不确定程度最大
  信源的消息为等概率分布，且其消息数目越多，其不确定程度越大。
  只发送一个消息的信源，其不确定程度为0，不发送任何信息

  1.1.2 信源不确定度的定义
  概率倒数的对数来度量信源的不确定度，即：
  H(X)=log(1/p)=-log p
  用$I(x_{i})=-log p(x_{i})$ 表示信源输出一个消息$x_{i}$所提供的信息量
  1.1.3 信息度量

  • 自信息量

       $I(x_{i})=-log p(x_{i})$
    

  • 联合信息量
    $I(x_{i}y_{i})=-log_{2}p(x_{i}y_{i})$
  • 互信息量
    I(信息量）=不肯定程度的减小量
    $x_{i}对y_{i}互信息量为$
    $I(y_{i};x_{i})=log_{2}\frac{p(y_{i}/x_{i})}{p(y_{j})}=I(y_{j})-I(y_{j}/x_{i})$ (i=1,2….n;j=1,2…m)

1.2、信息熵
信息熵是平均信息量的测度指标。如果某输入变量只有一个取值，也就是所有样本在该变量上去相同的值，没有差异，那么这个输入变量事实上并没用给输入变量的分类预测带来任何有意义的信息，可认为它所提供的信息量是0.因此，信息量的多少代表了变量取值差异的程度，信息熵是分类型变量取值差异性的测度指标。
计算公式：
$h(x)=E[I(x_{i})]=E[log_{2}\frac{1}{p(x_{i})}]=-\sum_{i=1}^{N}P(x_{i})log_{2}p(x_{i}) (i=1,2,3....n)$
1.3 平均互信息量
$I(X;Y)=\sum_{i=1}^{n}\sum_{j=1}^{m}P(x_{i}y_{j})I(x_{i};y_{j})=\sum_{i=1}^{n}\sum_{j=1}^{m}P(x_{i}y_{j})log_{2}\frac{p(x_{i}/y_{j})}{p(x_{i})}=\sum_{i=1}^{n}\sum_{j=1}^{m}P(x_{i}y_{j})log_{2}\frac{p(x_{i}y_{j})}{p(x_{i})p(y_{j})}$
$I(X;Y)=\sum_{i=1}^{n}\sum_{j=1}^{m}P(x_{i}y_{j})log_{2}\frac{p(x_{i}y_{j})}{p(x_{i})p(y_{j})} =\sum_{i=1}^{n}\sum_{j=1}^{m}p(x_{i}y_{j})log_{2}\frac{1}{p(x_{i})}-\sum_{i=1}^{n}\sum_{j=1}^{m}p(x_{i}y_{j})log_{2}\frac{1}{p(x_{i}/y_{j})}$=H(X)-H(X/Y)