互信息特征评价准则

本文引自西北工业大学杨宏晖老师的《模式识别之特征选择》

1、信息增益准则

对一个特征而言，系统有它和没有它时信息量将发生变化，而前后信息量的差值就是这个特征给系统带来的信息量，即增益。衡量标准是看特征能够为分类系统带来多少信息，带来的信息越多，该特征越重要。

识别系统中，特征的信息增益就是一个特征与类别的互信息，该互信息值越大，说明该特征与类别越相关，即该特征包含的分类信息越多，该特征也越重要，根据重要性对特征进行排序，如下式所示：

2、最大相关最小冗余

我们定义一个特征与其他特征的互信息的平均值为冗余度，结合信息增益准则，得到最大相关最小冗余性准则，如下式所示：

信息增益准则可以计算特征和类别之间的相关度，但仅根据“最大相关性”可能存在冗余特征，因而加入“最小冗余性”条件以便选择互斥的特征，因为当两个特征高度依赖时，去除其中的一个特征对系统的分类能力影响不大，而且去除冗余特征可以减少学习算法的计算量，加快识别系统处理时间。因此在信息增益的基础上减去加权的冗余度（其中权值根据数据集中冗余特征的程度进行设定），得到特征评价函数。

3、互信息混合评价准则

从上述内容可以看到，互信息对特征提供了多角度的评价函数。在特征选择中，我们不仅要找到对分类贡献最大的特征，同时希望找到那些可以为这些特征提供补充信息的特征，并删除冗余特征。下式提出了将特征与类别的互信息与最大条件混信息混的特征评价准则。这个准则的应用是：利用特征与类别的互信息评价出最优特征，再以此特征为条件，找出和它互补并包含最多分类信息的特征，并删除冗余特征。