机器学习之 特征选择和特征降维

特征选择：

对于一个学习任务来说，给定属性(特征)集，有的属性可能很关键，很有用，另一些属性则可能没有什么用.

对当前任务有用的属性称为“相关特征(relevant feature)”，没有用的属性称为“无关特征(irrelevant feature)”。从给定的特征集合中选择出相关特征子集的过程，称为“特征选择”。 特征选择是一个数据预处理的过程。

特征选择的必要性：1） 现实任务中常会遇到维数灾难问题，即属性过多。2） 去除不相关特征往往会降低学习任务的难度。

特征选择过程必须确保不丢失重要特征。 特征选择中所谓的无关特征是指与当前学习任务无关的特征； 有一类特征称为冗余特征，它们所包含的信息能从其他特征中推演出来，冗余特征在很多时候不起作用，去除它们会减轻学习过程的负担，但有时冗余特征会降低学习任务的难度，例如，如果学习目标是立方体的体积，则底面积这个冗余特征的存在将使得体积的估算更加容易； 更确切地说，如果某个冗余特征恰好对应了完成学习任务所需的中间概念，则该冗余特征是有益的。

常见的特征选择方法大致可以分为三类：

1 过滤式

该方法先对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关。例如Relief方法。

2 包裹式选择

包裹式特征选择直接把最终将要使用的学习器的性能作为特征子集的评价准则。

3 嵌入式选择与L1正则化

再前两种方法中，特征选择过程与学习器训练过程有明显分别；嵌入式特征选择是将特征选择过程与学习器训练过程融为一体，两者在同一个优化过程中完成，即在学习器训练过程中自动进行了特征选择。

 

另外，L1范数和L2范数正则化都有助于降低过拟合风险，但前者还会带来一个额外好处：它比后者更容易获得稀疏解，即它求得的w会更有更少的非零分量。

 

特征降维:

经典的方法：主成分分析

 

---

Ref:

《机器学习》10，11章节