[机器学习笔记] 特征（Feature）和特征选择(Feature Selection)

特征（Feature）和特征选择(Feature Selection)

概念解释

在机器学习中，将属性称为“特征（Feature）”，对当前学习任务有用的属性称为“相关特征（Relevant Feature）”，没有什么用的属性称为“无关特征（Irrelevant Feature）”。从给定的特征集合中选择出相关特征子集的过程，称为“特征选择（Feature Selection）”

特征选择是一个重要的数据预处理过程。在现在的机器学习中，获得数据之后通常先进行特征选择，此后再训练学习器。

特征选择过程必须确保不丢失重要特征，否则后续学习过程会因为重要信息的缺失而无法获得好的性能。给定数据集，若学习任务不同，则相关特征很可能不同。

另外，有一类特征称为“冗余特征（Redundant Feature）”，它们所包含的信息能从其它特征中推演出来。那么，去除冗余特征会减轻学习过程的负担。

---

特征选择的目的

在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特征，特征之间也可能存在相互依赖，容易导致如下的后果：

• 特征个数越多，分析特征、训练模型所需的时间就越长。
• 特征个数越多，容易引起“维度灾难”，模型也会越复杂，其推广能力会下降。

特征选择能剔除不相关(irrelevant)或亢余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化了模型，使研究人员易于理解数