特征选择与特征降维的差别

转载 2016年08月30日 20:33:20

   在machine learning中,特征降维和特征选择是两个常见的概念,在应用machine learning来解决问题的论文中经常会出现。

       对于这两个概念,很多初学者可能不是很清楚他们的区别。很多人都以为特征降维和特征选择的目的都是使数据的维数降低,所以以为它们是一样的,曾经我也这么以为,这个概念上的误区也就导致了我后面对问题的认识不够深入。后来得到老师的指点才彻底搞清楚了两者的关系,现总结出来与大家分享。

       machine learning的终极目标就是为了预测,当然预测前我们要对数据进行training。通常我们不会拿原始数据来训练,为什么呐?可能有些人觉得原始信息包含了样本最丰富的信息,没有经过任何处理的raw data能最完整表达样本,这个观点没有错。但是用raw data来直接训练的话,有一个问题就是我们设计的分类器在训练集上会得到很好的performance,但在测试集上的performance却变得非常差。这就是过拟合(overfitting)的问题。用raw data直接训练还有一个问题就是原始维度太高,耗时长。

     解决过拟合的问题就要求我们找出raw data中差异性最大的那些特征,这样才能保证分类器在测试集有好的performance。所以通常我们都是要对原始数据进行特征提取的。提取特征后通常特征维数依然不低,而且依然可能会出现过拟合的问题,为了解决这些问题,通常的做法就是降维和特征选择。降维用的最多是PCA。

     从上面的分析可能看到,感觉降维和特征选择都是为了使数据维度降小。但实际上两者的区别是很大,他们的本质是完全不同的。下面着重说说两者的区别。

     降维本质上是从一个维度空间映射到另一个维度空间,特征的多少别没有减少,当然在映射的过程中特征值也会相应的变化。举个例子,现在的特征是1000维,我们想要把它降到500维。降维的过程就是找个一个从1000维映射到500维的映射关系。原始数据中的1000个特征,每一个都对应着降维后的500维空间中的一个值。假设原始特征中有个特征的值是9,那么降维后对应的值可能是3。

    特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征,特征在选择前和选择后不改变值,但是选择后的特征维数肯定比选择前小,毕竟我们只选择了其中的一部分特征。举个例子,现在的特征是1000维,现在我们要从这1000个特征中选择500个,那个这500个特征的值就跟对应的原始特征中那500个特征值是完全一样的。对于另个500个没有被选择到的特征就直接抛弃了。假设原始特征中有个特征的值是9,那么特征选择选到这个特征后它的值还是9,并没有改变。


相关文章推荐

特征降维

维度灾难 首先在机器学习中,如果特征值(也可称之为维度,或feature,或参数)过多,会发生所谓的维度灾难。维度灾难最直接的后果就是过拟合现象,而发生该现象最根本的原因是: 1,维度增加时,有限的样...
  • OnlyQi
  • OnlyQi
  • 2016年03月10日 10:59
  • 3181

特征降维-PCA(Principal Component Analysis)

在进行图像的特征提取的过程中,提取的特征维数太多经常会导致特征匹配时过于复杂,消耗系统资源,不得不采用特征降维的方法。所谓特征降维,即采用一个低纬度的特征来表示高纬度。特征降维一般有两类方法:特征选择...
  • xl890727
  • xl890727
  • 2013年11月23日 11:56
  • 99289

机器学习---过拟合和模型选择

以下内容主要在讲:我们怎样选取一个好的模型,判断模型好坏的指标或者选取策略是神马 到目前为止我觉得下边说了这么多 分割线前边有用的就一句——我们选取模型的时候需要考虑两个条件,1、error(基于...

特征选择与降维总结

特征选择   特征选择是一个很重要的数据预处理过程,在现实的机器学习任务中,获得数据之后通常进行特征选择。   进行特征选择的原因:   (1)    维数灾难问题   (2)    去除不相...

如何防止过拟合?与如何特征选择?

过拟合

机器学习中特征降维和特征选择的区别

在用machine learning是,为了tia

特征选择与特征抽取

特征抽取和特征选择是DimensionalityReduction(降维)两种方法,但是这两个有相同点,也有不同点之处: 1. 概念: 特征抽取(Feature Extraction)...

【深度学习】论文导读:无监督域适应(Deep Transfer Network: Unsupervised Domain Adaptation)

一、Domain adaptation 在开始介绍之前,首先我们需要知道Domain adaptation的概念。Domain adaptation,我在标题上把它称之为域适应,但是在文中我没有再翻译...

(斯坦福机器学习课程笔记)VC维,交叉检验和特征选择

====================VC维================= 上一节课通过hoeffding不等式得出的经验风险最小化及其推论,是基于模型集合是有限的这一假设的。显然的,一般情况...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:特征选择与特征降维的差别
举报原因:
原因补充:

(最多只允许输入30个字)