特征选择之信息增益---笔记

信息增益在决策树的特征选择中很重要，可以说是特征选择的核心方法之一，也同样是决策树生成的核心之一。决策树的算法很多都是建立在信息增益进行的，信息增益是建立在熵这个概念上进行的。熵就是衡量一个变量不确定性的度量。熵用的很广，在信息领域、在强化学习、在统计学习中都用的很广。下面我将分别介绍上述提到的概念：

1. 熵：(entropy)：

信息量大小的度量， 即表示随机变量不确定性的度量。熵越大， 随机变量的不确定性越大。

2. 信息增益：

通俗的理解是：一个变量的熵减去其条件熵，得到的值就是这个条件的信息增益。其中，条件熵H(Y|X)： 表示在己知随机变量X的条件下随机变量Y的不确定性， 定义为X给定条件下Y的条件概率分布的熵对X的数学期望。

(信息增益):特征A对训练数据集D的信息增益，g(D,A), 定义为集合D的经验熵H(D)与特征A给定条件下
D的经验条件熵H(D|A)之差， 即:

(Information gain)表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。
—般地， 熵H(Y)与条件熵H(Y|X)之差称为互信息（ mutual information)。


注：本文的内容只是自己学习过程的一个总结，根据自己的学习感悟进行总结，以便自己日后好复习巩固，如有不对之处，敬请谅解，感谢李航老师的书籍和袁春老师的课件，让我学习到很多知识。

参考文献：

1. 统计学习方法 [M]. 李航，
2. 统计学习方法课件，袁春.