相关性分析(二)之离散特征

信息熵

基础

1. $x_i$的自信息： 反映特征的某个值，具有非负、单调减、可加和不确定性。表示收到某消息获得的信息量（即，收到某消息后获得关于某事件发生的信息量），公式如下：
   $$I(x_i)=f[p(x_i)]=-lo{g}_{r}p(x_i)，r=2$$
2. 条件的自信息量：
   $$I(x_i/y_i)=-lo{g}_{r}p(x_i/y_i)，r=2$$
3. 联合自信息量：
   $$I(x_i{y}_i)=-lo{g}_{r}p(x_i{y}_i)$$

$I(x_i{y}_i)=-lo{g}_{r}p(x_i{y}_i)=-lo{g}_{r}p(x_i)p(y_i|x_i)=I(x_i)+I(y_i|x_i)$
$I(x_i{y}_i$