机器学习入门讲解：什么是特征和特征选择

2017-10-24  蒋竺波  随波竺流

个人公众号：follow_bobo. 知乎号：波波。

在 machine learning  （机器学习）中，特征工程是重中之重，我们今天就来简单介绍一下特征工程里面的 feature （特征），以及 feature selection ( 特征选择）。

 

首先我们来看看中文字典里是怎么解释特征的：一事物异于其他事物的特点。

 

那我们再来看看英文字典里是怎么解释feature的：A feature of something is an interesting or important part or characteristic of it.

 

我们把这两个综合一下，特征就是，于己而言，特征是某些突出性质的表现，于他而言，特征是区分事物的关键，所以，当我们要对事物进行分类或者识别，我们实际上就是提取‘特征’，通过特征的表现进行判断。好了，我们先来举个例子：

 

在Prof Fei-Fei Li 等人的论文里<CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning>, 他们为了更好的用Compositional Language（组合语言） 去描述一幅图，比如特点，数量，方位关系等，他们就会刻意去收集自己想要的feature，比如如下图所示，Cubes are gray, blue, brown, or yellow，Cylinders are red, green, purple，这些都是能突出自己性质的特征，‘浅绿色方体在最大红球的右边’，这种也可以表征自己方位的特征。

 

事物的特征非常多，但最终，提取的特征应该要服从我们的目的，还是拿上图举例子，假如我想知道有多少个立方体， 上来就把形状，颜色，大小等feature 全提了个遍是非常不明智的，这就是在浪费计算资源， 所以我们只需要选择形状这个feature就好啦。

’

你可能会想，对啊，我一开始就只去提取形状这一个feature