信息论常见概念：熵、互信息、KL散度和信息增益

信息论在机器学习中的常见概念

信息的不确定度表示。

1. 信息量

定义：消除事件不确定性所需的信息量，单位：比特（bit）。
如果事件x发生，P(x) 是事件x发生的概率，P(x)可以为“事件x发生”所提供的信息量为h(x)。
$$h(x)=-lo{g}_{2}P(x)$$

2. 熵

熵：发生的事件中包含的 信息平均值 ，是不确定性的度量，不确定性越大则熵越大。
$$H(X)=-\sum _i^{n}P(x_i)h(x_i)$$
$$H(X)=-\sum _i^{n}P(x_i)lo{g}_{2}P(x_i)$$

3. 联合熵

定义：度量二维随机变量的不确定性
$$H(X,Y)=-\sum _i\sum _{j}P(x_i,y_i)lo{g}_{2}P(x_i,y_i)$$

4. 条件熵

定义：在X的条件下求Y的不确定性。H(Y|X)表示已知X，求Y的平均不确定性。
$$H(Y|X)=-\sum _i\sum _{j}P(x_i,y_i)lo{g}_{2}P(y_i|x_i)$$

条件熵和联合熵的关系：
$$H(X,Y)=H(X)+H(Y|X)$$
$$H(Y|X)=H(X,Y)-H(X)$$

5. 相对熵

别名：KL散度（Kullback–Leibler divergence，KLD），信息散度（information divergence），信息增益（information gain）
功能：主要用来衡量两个分布的相似度（相对熵是衡量同一个变量的两个一维分布之间的相似性）。假设连续随机变量x，真是的概率分布为P(x)， 模型得到的近似分布为Q(x)。
$$KL(P||Q)=-\sum _{i}P(x_i)lnQ(x_i)-(-\sum _{i}P(x_i)lnP(xi))$$

$$KL(P||Q)=\sum _{i}P(x_i)ln\frac{P(x_i)}{Q(x_i)}$$

$$KL(P||Q)=H(P,Q)-H(P)$$
$H(P,Q)$：交叉熵（注意：H(X,Y)和它的区别；X，Y是随机变量，而P、Q是概率分布）

6. 互信息

互信息：是用来衡量两个相同的一维分布变量之间的独立性 。

$$I(X,Y)=KL(P(x,y)||P(x)P(y))$$
$$I(X,Y)=\sum _{i}P(x_i,y_i)ln\frac{P(x_i,y_i)}{P(x_i)P(y_i)}$$

7. 信息增益

假设系统原有的熵为 H(X)，后来引入了特征 T，在特征 T 的情况下，系统的混乱度下降，熵减小为 H(X|T)，那么特征 T 给系统带来的信息增益为： X特征下的熵 - 在特征T条件下的X的熵。
$$IG(T)=H(X)-H(X|T)$$

信息增益率：信息增益 / T的分离信息
$$R(X,T)=\frac{IG(T)}{splitinfo(T)}$$

---

公式与推导

---

---

名称	公式	解释
信息量	$$h(x)=lo{g}_2\frac{1}{P(x)}=-lo{g}_{2}P(x)$$ > 0	x：一个事件 P(x)：事件 x 发生的概率 0 < P(x) < 1 $lo{g}_{2}P(x)$ < 0 $-lo{g}_{2}P(x)$ > 0
熵	$$H(X)=-\sum _i^{n}P(x_i)h(x_i)$$ 离散： $$H(X)=-\sum _{i=1}^{n}P(x_i)lo{g}_2(x_i)$$ 连续： $$H(X)=-{\int }_i^{n}P(x)lo{g}_2(x)dx$$
联合熵	$$H(X,Y)=\sum _i^m\sum _j^{n}P(x_i,y_j)lo{g}_{2}P(x_i,y_j)$$
条件熵	$$H(Y/X)=-\sum _i\sum _{j}P(x_i,y_i)lo{g}_{2}P(y_i/x_i)$$ $$=-\sum _i\sum _{j}P(x_i)P(y_i/x_i)lo{g}_{2}P(y_i/x_i)$$ $$=-\sum _{i}P(x_i)\sum _{j}P(y_i/x_i)lo{g}_{2}P(y_i/x_i)$$ $$=-\sum _{i}P(x_i)H(Y/x_i)$$
联合熵 & 条件熵	$$H(X,Y)=-\sum _i^m\sum _j^{n}P(x_i,y_j)lo{g}_{2}P(x_i,y_j)$$ = − ∑ i m ∑ j n { P ( x i , y j ) l o g 2 ( P ( x i / y j ) ∗ P ( x i ) ) } = -\sum_i^{m}\sum_j^{n}\{ P(x_i,y_j)log_2(P(x_i / y_j)*P(x_i))\} =−i∑m​j∑n​{P(xi​,yj​)log2​(P(xi​/yj​)∗P(xi​))} $$=-\sum _i^m\sum _j^{n}P(x_i,y_j)(lo{g}_{2}P(x_i/y_j)+lo{g}_{2}P(x_i))\}$$ $$=-\sum _i^m\sum _j^{n}P(x_i,y_j)lo{g}_{2}P(x_i/y_j)-\sum _i^m(\sum _j^{n}P(x_i,y_j))lo{g}_{2}P(x_i)$$ $$=H(Y/X)+H(X)$$ $$联合熵：H(X,Y)=H(Y/X)+H(X)$$ $$条件熵：H(Y/X)=H(X,Y)-H(X)$$	$$\sum _j^{n}P(x_i,y_j)=P(x_i)$$
相对熵 &KL散度	$$KL(P//Q)=-\sum _{i}P(x_i)lnQ(x_i)-(-\sum _{i}P(x_i)lnP(x_i))$$ $$=\sum _{i}P(x_i)ln\frac{P(x_i)}{Q(x_i)}$$ $$KL(p//q)=-{\int }_{x}P(x)lnQ(x_i)dx-(-{\int }_{x}P(x)lnP(x)dx)$$ $$={\int }_{x}P(x)ln\frac{P(x)}{Q(x)}$$ $$KL(p//q)=H(P,Q)-H(P)$$	H(P,Q)：在这儿不是联合熵 H(P,Q) = $$-\sum _{i}P(x_i)ln(Q(x_i))$$
互信息	I ( X ; Y ) = K L { P ( x , y ) / / P ( x ) Q ( x ) } I(X;Y) = KL\{P(x,y) // P(x)Q(x)\} I(X;Y)=KL{P(x,y)//P(x)Q(x)} $$=\sum _i\sum _{j}P(x_i,y_i)ln\frac{P(x_i,y_i)}{P(x_i)Q(y_i)}$$ = ∑ i ∑ j { P ( x i , y i ) { l n P ( x i , y i ) − l n P ( x i ) − l n Q ( y i ) } } = \sum_i\sum_j\{P(x_i,y_i) \{lnP(x_i,y_i) - lnP(x_i) - lnQ(y_i)\}\} =i∑​j∑​{P(xi​,yi​){lnP(xi​,yi​)−lnP(xi​)−lnQ(yi​)}} $$=-H(X,Y)+H(X)+H(Y)$$ $$=H(X)-H(X/Y)=H(Y)-H(Y/X)$$	$$H(Y/X)=H(X)-H(X,Y)$$ and $$H(X/Y)=H(Y)-H(X,Y)$$
信息增益	$$IG(T)=H(X)-H(X/T)$$	引入特征T后系统混乱度降低，系统熵降低到H(X/T) 信息的增益为IG(T)
信息增益率	$$R(X,T)=\frac{IG(T)}{splitinfo(T)}$$	信息增益 除以 T的分离信息