特征选择之最小冗余最大相关性(mRMR)

最小冗余最大相关性(mRMR)是一种滤波式的特征选择方法，由Peng et.al提出。
用途：图像识别，机器学习等
一种常用的特征选择方法是最大化特征与分类变量之间的相关度，就是选择与分类变量拥有最高相关度的前k个变量。但是，在特征选择中，单个好的特征的组合并不能增加分类器的性能，因为有可能特征之间是高度相关的，这就导致了特征变量的冗余。这就是Peng et.al说的“the m best features are not the best m features”。因此最终有了mRMR，
即最大化特征与分类变量之间的相关性，而最小化特征与特征之间的相关性。这就是mRMR的核心思想。

互信息

定义：给定两个随机变量x和y，他们的概率密度函数（对应于连续变量）为$p(x),p(y),p(x,y)$，则互信息为
$$I(x;y)=\int \int p(x,y)log\frac{p(x,y)}{p(x)p(y)}dxdy$$

mRMR算法

我们的目标就是找出含有 m { x i } m\{x_i\} m{ xi​}个特征的特征子集$S$
离散变量
最大相关性:
m a x D ( S , c ) , D = 1 ∣ S ∣ Σ x i ∈ S I ( x i ; c ) maxD(S,c), D=\frac{1}{|S|}\Sigma_{x_i\in S}I(x_i;c) maxD(S,c),D=∣S∣1​Σx