java 信息增益_文本分类中的信息增益

Jasper's Java Jacal

嘉士伯的Java小屋

聚合 |

前文提到过，除了开方检验(CHI)以外，信息增益(IG，Information Gain)也是很有效的特征选择方法。但凡是特征选择，总是在将特征的重要程度量化之后再进行选择，而如何量化特征的重要性，就成了各种方法间最大的不同。开方检验中使用特征与类别间的关联性来进行这个量化，关联性越强，特征得分越高，该特征越应该被保留。

在信息增益中，重要性的衡量标准就是看特征能够为分类系统带来多少信息，带来的信息越多，该特征越重要。

因此先回忆一下信息论中有关信息量(就是“熵”)的定义。说有这么一个变量X，它可能的取值有n多种，分别是x1

x n，每一种取到的概率分别是P1，P2，……，P n，那么X的熵就定义为：

意思就是一个变量可能的变化越多(反而跟变量具体的取值没有任何关系，只和值的种类多少以及发生概率有关)，它携带的信息量就越大(因此我一直觉得我们的政策法规信息量非常大，因为它变化很多，基本朝令夕改，笑)。