特征提取与特征选择的区别

降维
降维是一种可以消除噪声和冗余属性（特征）的技术。降维技术可以分为特征提取（feature extraction）和特征选择（feature selection）。
特征提取：特征被投影到一个新的低维空间。
常见的特征提取技术有：PCA、LDA、SVD。（Principle Component Analysis ，Linear Discriminant Analysis ，Singular Value Decomposition）
特征选择：从特征中选出一个子集来最小化冗余和最大化与目标的相关性。
常用的特征选择方法有：Information Gain信息增益，Relief，Chi Squares，Fisher Score，Lasso。
特征提取和特征选择方法都能提高学习性能，降低计算开销并获得更加泛化的模型。但是特征选择优于特征提取，因为特征选择有更好的可读性和可解释性，因为它仍然保持原来的特征，只是去掉了一些认为冗余的。而特征提取将特征从原始空间映射到新的低维空间，得到的转换的特征没有物理含义
特征选择的输出：
1）子集选择
返回选择的子集，通过特征的索引标识。
2）特征加权
返回对应每个特征的权重。
特征加权被认为是特征选择的推广。在特征选择中，为特征分配二进制权重，1表示选择特征，0表示不选择。而特征加权为特征分配一个值，通常在区间[0，1]或[-1，1]中。该值越大，该特征就越显著。在特征相关性得分不同的任务中，特征加权被发现优于特征选择，这在大多数现实问题中都是如此。如果设置阈值来根据权重选择特征，则特征加权也可以简化为特征选择。因此，本章中提到的大多数特征选择算法都可以使用特征加权方案来考虑。