Scikit-Learn学习笔记——特征工程

特征工程

工程中的数据挖掘用到的数据很少拥有干净的特征矩阵——很多特征的取值是非数值的，这些特征不能直接被计算机直接用于计算。因此，机器学习实践中更重要的步骤之一是特征工程——找到与问题有关的任何信息，把它们转换成特征矩阵的数值。

分类特征

一种常见的非数值特征是分类数据。例如，浏览房屋数据的时候，除了看到“房价”（price）和“面积”（square）之类的数值特征，还会有“地点”（neighborhood）信息，数据可能像这样：

data = [
    {
  'price':85000, 'rooms':4, 'neighborhood':'Queen Anne'},
    {
  'price':70000, 'rooms':3, 'neighborhood':'Fremont'},
    {
  'price':65000, 'rooms':3, 'neighborhood':'Wallingford'},
    {
  'price':60000, 'rooms':2, 'neighborhood':'Fremont'}
]

对于上面的“地点”特征，常用的编码方式是独热编码(OneHot)，它可以有效增加额外的列，让0和1出现在对应的列分别表示每个分类值有或无。这个过程可以由Scikit-Learn的DictVectorizer实现

from sklearn.feature_extraction import DictVectorizer
#当sparse参数为True时，表示编码结果使用稀疏矩阵进行存储，这主要是为了应对处理具有很多枚举值的特征时