特征选择

特征抽取和特征选择

特征抽取和特征选择是降维（DimensionalityReduction）两种方法。

概念：

特征抽取（Feature Extraction）:Creatting a subset of new features by combinations of the exsiting features.也就是说，特征抽取后的新特征是原来特征的一个映射。

特征选择（Feature Selection）:choosing a subset of all the features(the ones more informative)。也就是说，特征选择后的特征是原来特征的一个子集。

为什么要做特征选择

在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特征，特征之间也可能存在相互依赖，容易导致如下的后果：

特征个数越多，分析特征、训练模型所需的时间就越长。

特征个数越多，容易引起“维度灾难”，模型也会越复杂，其推广能力会下降。

特征选择有哪些算法呢？

过滤方法

将所有特征进行打分评价，选择最有效的一些特征。比如：卡法检验，信息增益，相关系数打分。

Wrapper方法

其主要思想是：将子集的选择看作是一个搜索寻优问题，生成不同的组合，对组合进行评价，再与其他的组合进行比较。这样就将子集的选择看作是一个是一个优化问题，这里有很多的优化算法可以解决，尤其是一些启发式的优化算法，如GA，PSO，DE，ABC等，详见“优化算法——人工蜂群算法(ABC)”，“优化算法——粒子群算法(PSO)”。
主要方法有：recursive feature elimination algorithm(递归特征消除算法)

嵌入方法

将特征选择的过程嵌入到模型训练的过程中，其实也就是正则化的方法。比如lasso回归，岭回归，弹性网络（Elastic Net）等。

参考：
http://www.cnblogs.com/heaad/archive/2011/01/02/1924088.html
http://www.36dsj.com/archives/24225

http://scikit-learn.org/stable/modules/feature_selection.html

博弈论