【机器学习】论文导读 从特征变换到特征选择（From Transformation-Based Dimensionality Reduction to Feature Selection）

一、降维中特征变换与特征选择的区别

     在各种机器学习方面的运用中，我门通常需要对高维数据进行处理，然而不是所有的数据特征都是有用的，通常包含大量的无关特征与冗余特征。（ 无关特征：是指与当前学习任务无关的特征（该特征所提供的信息对于当前学习任务无用），如对于学生成绩而言，学号则是无关特征。 冗余特征：是指该特征所包含的信息能从其他特征推演出来，如对于“面积”这个特征而言，从能从“长”和“宽”得出，则它是冗余特征。）在对这类数据进行分析学习之前一般需要进行降维处理，而降维包括特征变换与特征提取，前者通过对原始特征的一系列变换生成新的特征空间，而特征选择并不改变原始特征。相较于特征变换，特征选择尤其适用于那些需要保持原始特征的意义以及确定特定特征的重要程度的情况下，同时，一旦选定了特定的特征，我们只需收集或计算选定的特征，并不需要像特征变换的方法需要所有的原始特征来计算数据的低维表示。

特征选择算法分类：过滤式，包裹式，嵌入式。这三类算法的区别主要在于学习算法在分析和选择特征的过程中发挥了怎样的作用。

1. 过滤式：特征是被提前选定的仅通过数据间的本质特性，并未进行学习算法的运算。简而言之，过滤式方法