基于正则化的特征选择

1、特征选择简述
降维，有时也可称为子空间学习，可以大致分为特征选择(feature selection)和特征提取(feature extraction)两大类，我们常说的主成分分析(PCA)、线性判别分析(LDA)、流形学习的代表—-局部线性嵌入(LLE)等，都是属于后者。特征提取，通常是将原始数据投影到一个新的空间，对于线性方法，就是学习一个投影矩阵W，使得投影后的数据最具有代表性信息(如PCA)，或者最具有区分性信息(如LDA)。从特征的数值来看，特征提取会改变原始数值，相当于生成了新的通常来说是更好的特征。在一些实际应用中，比如生物医学中的基因分析，需要找到某一种疾病跟哪些基因有关系（通常只跟个别或少数几个基因有较大关联），或者在文本挖掘中，需要找到一些关键的字词，这个时候，我们就不能改变原始的特征数值，因此传统的特征提取不能直接派上用场。有需求，就有市场，特征选择的提出，正式为了解决这一类问题。通过设计一些准则，特征选择算法可以挑出原始特征中比较有用的特征子集，而不会改变原始特征数值。下面给个图直观看一下两者的区别。

图1.1 将一个6维的向量，降到三维，特征提取相当于新生成了三个特征，而特征选择是从原始特征中选出三个，在特征的数值上并无改变。这里仅作为一个示意，图中均为随机取值。
现有的特征选择算法，从不同的角度，可以分为不同的类型。按数据标签的获取情况，可以分为有监督、半监督和无监督特征选择；按是否需要额外的学习算法参与特征选择过程，以及具体的参与方式，可以分为封装型(wrapper)、嵌入式(embedded)和过滤型(filter)。再细致一些，可以分为基于信息论的特征选择、基于统计的特征选择