特征选择-mRMR算法

mRMR  (Max-Relevance and Min-Redundancy) 最大相关和最小冗余算法

为什么会出现mRMR算法？

mRMR算法主要是为了解决通过最大化特征与目标变量的相关关系度量得到的最好的m个特征，并不一定会得到最好的预测精度的问题，因为这m个特征存在冗余特征的情况（是指该特征所包含的信息能从其他特征推演出来，如对于“面积”这个特征而言，从能从“长”和“宽”得出，则它是冗余特征。）。因此mRMR就是为了保证对大相关性的同时，彼此之间又有最小的冗余性。

再了解mRMR之前我们先看一下互信息的概念：

什么是互信息？

互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不确定性。简而言之就是看两个随机变量X，Y是否相关，以及相关程度。

互信息的定义如下：

对于两个离散随机变量 X 和 Y 的互信息可以定义为：

对于连续的两个随机变量X 和 Y 的互信息可以定义为：

注：互信息不能为负。

互信息就先介绍到这里，接下来我们看mRMR算法：

首先：利用互信息计算 I(x ；c) （ I(x ；c)越大，他们之间的关联度就越大 ）我们先找出含有m{xi}个特征的特征子集S，使得找出的m个特征和类别C 的相关性最大。也就是找出与c关系最密切的m个特征。

                                                                     

特征集S与类c的相关性由各个特征和类c之间的所有互信息值的平均值定义,这样我们选出了m个平均互信息最大的集合S。

接下来我们就要消除m个特征之间的冗余：

                                                                     

最终我们要求出关于最大相关度 - 最小冗余度的特征集合S