相关性分析(二)之离散特征

信息熵

基础

1. $x_i$的自信息： 反映特征的某个值，具有非负、单调减、可加和不确定性。表示收到某消息获得的信息量（即，收到某消息后获得关于某事件发生的信息量），公式如下：
   $$I(x_i)=f[p(x_i)]=-lo{g}_{r}p(x_i)，r=2$$
2. 条件的自信息量：
   $$I(x_i/y_i)=-lo{g}_{r}p(x_i/y_i)，r=2$$
3. 联合自信息量：
   $$I(x_i{y}_i)=-lo{g}_{r}p(x_i{y}_i)$$

$I(x_i{y}_i)=-lo{g}_{r}p(x_i{y}_i)=-lo{g}_{r}p(x_i)p(y_i|x_i)=I(x_i)+I(y_i|x_i)$
$I(x_i{y}_i)=-lo{g}_{r}p(y_i)p(x_i|y_i)=I(y_i)+I(x_i|y_i)$

互信息

互信息的定义

信源发出的消息$x_i$的概率$p(x_i)$称为先验概率，信宿收到$y_j$，利用收到$y_j$推测信源发出的$x_i$的概率，称为后验概率，有时候也称为条件概率。

互信息的公式

互信息即已知一个变量，在此基础上又知道一个消息，这个消息减少了这个变量多少不确定性。
$I(x_i;y_j)=I(x_i)-I(x_i|y_j)=-lo{g}_{r}p(x_i)+lo{g}_{r}p(x_i|y_j)=lo{g}_r\frac{p(x_i/y_j)}{p(x_i)}$
$I(x_i;y_j)=I(y_j)-I(y_j|x_i)$
$I(x_i;y_j)=lo{g}_r\frac{p(x_i,y_j)}{p(x_i)p(y_j)}=I(x_i)+I(y_j)-I(x_i,y_j)$

互信息量=自信息量-条件信息量

通信之前，x和y相互独立，有$p(x_i,y_j)=p(x_i)p(y_j)$，不确定性$-lo{g}_{r}p(x_i)p(y_j)=I(x_i)I(y_j)$，但在通信过程中，存在信道转移概率$p(y_j|x_i)$，此时，联合概率$p(x_i,y_j)=p(y_j|x_i)p(x_i)$，发$x_i$收$y_j$的不确定性$I(x_i,y_j)=-lo{g}_{r}p(x_i,y_j)$。

拓展到三维X,Y,Z联合集：
给定条件$Z_k$下，$x_i$与$y_j$之间的互信息量，其定义式：
$I(x_i,y_j|z_k)=lo{g}_r\frac{p(x_i|y_j,z_k)}{p(x_i|z_k)}$

互信息的性质

1. 对称性 —— 互易性
2. 当x和y相互独立时，互信息为0
3. 互信息可为正值或负值，反映两个事物之间的肯定作用。
   a) 若互信息为正值，通过接收$y_j$判断是否发送$x_i$的确定性变小，能正常通信。
   b) 若互信息为负值，意味着传输中的问题，如信道噪声，干扰等，收到$y_j$判断是否发送$x_i$的不确定性反而变大了。
   $I(x_i;y_j)=I(x_i)-I(x_i|y_j)=lo{g}_r\frac{p(x_i|y_j)}{p(x_i)}<0$
   =>$I(x_i)<I(x_i|y_j)$ 即$p(x_i|y_j)<p(x_i)$
4. 两个事件的互信息量不大于单个事件的自信息量，即
   $I(x_i;y_j)\le I(x_i)$ and $I(x_i;y_j)\le I(y_j)$

信息熵

对一个信息源发出的不同消息所包含的信息量也不同，所以自信息$I(x_i)$是一个随机变量，不能用它作为整个信源的信息测度。

自信息$I(x)$反映的是某个特征的某个值
信息熵$H_r(x)$反映的是某个特征
即将自信息求期望后，会得到信息熵，也就是$H_r(x)=E(I(x))={\sum }_{i=1}^{k}p(x_i)logp(x_i)$

定义自信息的数学期望为平均自信息量$H_r(x)$，称为信源的信息熵，也叫做信源熵或者香农熵。
$H_r(x)=E(I(x))=E(lo{g}_r\frac{1}{p(x_i)})=-{\sum }_{i=1}^{k}p(x_i)lo{g}_r(x_i)$
熵还是的自变量是X，表示信源整体，实际上是离散无记忆信源平均不确定度的度量。