信息熵、信息增益

随机事件的自信息

定义：
表示随机事件x包含的信息量。

它有两个含义：
 	1.表示事件发生的不确定性（事件发生前）；
	2.表示该事件所提供的信息量（事件发生后）。

公式：$$I(x_i)=log\frac{1}{p(x_i)}=-logp(x_i)$$

信息熵(Information Entropy)

含义：

1.描述信息源X的平均不确定性
2.平均每个信息源符号所携带的信息量

信息熵是表示随机变量不确定性的度量。熵取值越大，随机变量的不确定性越大。

公式： H ( X ) = − ∑ i = 1 n p ( x i ) l o g ( p ( x i ) ) H(X)=-\sum_{i=1}^np(x_i)log(p(x_i))