机器学习特征选择之卡方检验与互信息

by wangben  @ beijing

特征选择的主要目的有两点：

1.      减少特征数量提高训练速度，这点对于一些复杂模型来说尤其重要

2.      减少noisefeature以提高模型在测试集上的准确性。一些噪音特征会导致模型出现错误的泛化（generalization），从而在测试集中表现较差。另外从模型复杂度的角度来看，特征越多模型的复杂度越高，也就越容易发生overfitting。

互信息（Mutual information）和卡方检验（chisquare）是两种比较常用的特征选择方法：

互信息

互信息是用来评价一个事件的出现对于另一个事件的出现所贡献的信息量，具体的计算公式为：

其中U、C代表两个事件，e的取值可以为0或者1，1代表出现这个事件，0代表不出现。

把上述公式拆解为统计形式为：