特征选择（一）-维数问题与类内距离

什么是特征选择？

简单说，特征选择就是降维。

 

特征选择的任务

就是要从n维向量中选取m个特征，把原向量降维成为一个m维向量。但是降维必须保证类别的可分离性或者说分类器的性能下降不多。

 

注意降维具有片面性，算法并不普适。常常会有失效发生。

 

降维这件小事

在图像处理中叫做图像压缩、特征提取。重在最优区分（可分离性）。

在模式识别中叫做特征选择。重在最优描述（保真性）。

 

降维的基本思想

就是找一个线性变换使得原来的n维观察值变成了

这样维数就下降了，只是要求不能明显降低类别的可分离性就好。本文介绍的都是线性变换。

 

为什么要降维？

1.有可能当你使用某个特征就能进行很好的分类，譬如一个二维问题很可能变成一维也可以分类，如图1所示，把原来的样本向y轴投影就好了，用一个y分量就能完成分类。可见降维确实很有用，关键在于如何找到像y方向这么好的特征呢？