机器学习特征选择：传统互信息、k-nearest neighbor互信息

目录

1. 传统互信息
2. Estimating Mutual Information中的的两种基于最近邻的互信息
3. Mutual Information between Discrete and Continuous Data Sets论文中提到的互信息

1. 传统互信息

• 已知变量$(X,Y)$的联合概率密度

对于一个$N$维的双变量点对$(x_i,y_i),i=1,...N$，假设其是由联合概率密度为$\mu (x,y)$的变量$(X,Y)$生成的一组独立同分布的数据，由此我们可以计算得到$x,y$各自的边缘概率密度，即，$\mu (x)=\int \mu (x,y)d(x)$，$\mu (y)=\int \mu (x,y)d(y)$。由此，我们可以根据下述公式计算得到变量$(X,Y)$的互信息$I(X,Y)$。

在解决实际问题的时候，我们通常是不知道变量$(X,Y)$的联合概率密度的，而且，变量$X$与变量 Y Y