信息增益--熵

1、信息熵

 熵：用于测定不确定性量

不确定性：统计学中，不确定性指一个随机事件有多种可能性结果

情况越混乱，信息熵越大，反之则越小

对信息熵的详细介绍：(78条消息) 信息熵及其相关概念_Northan的博客-CSDN博客_信息熵

2、信息增益

信息增益针对一个具体特征，某个特征的有无对整个系统、集合的影响程度就可以用“信息增益”来描述。

属性划分的标准是让每个分支纯度更高，最好是每个分支的数据尽可能属于同一类别，其实就是尽可能增加分类的确定性。而熵表示了事件的不确定性，消除熵可以增加事件的确定性，所以只需计算划分前后熵的变化就可以了

1. 划分之前计算事件的熵：Ent(X)（决策树中：根节点）
2. 按照属性 A划分后再次计算事件的熵：Ent(X|A)
3. 则 Ent(X) - Ent(X|A) 就是划分之后熵被消除了多少。

信息增益：Gain(X,A) = Ent(X) - Ent(X|A)

也等于：Gain(X,A) = Ent(X) -|A|/|X| Ent(A)        （|A| 属性A的数量，|X| 样本数量）

3、信息增益率

为了纠正信息增益偏向值个数多的属性这个缺陷

或

 

IV： 表示属性的固定值, p(|A) 表示a在A中占得比例