sklearn---特征工程

数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。

特征工程
特征工程：顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用；

数据预处理

• 不属于同一量纲：即特征的规格不一样。
  
  • 无量纲化
• 信息冗余：对于某些定量特征，其包含的有效信息为区间划分。
  
  • 二值化
• 定性特征不能直接使用：只能接受定量特征的输入。
  
  • 哑编码将定性特征转换为定量特征
• 存在缺失值：缺失值需要补充。
• 信息利用率低：对定性特征哑编码达到非线性的效果。

特征选择
数据预处理后，要选择有意义的特征输入机器学习的算法和模型训练。

• 特征是否发散
• 特征与目标的相关性

特征选择方法：

• Filter：过滤法，按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。
• Wrapper：包装法，根据目标函数，每次选择若干特征，或者排除若干特征。
• Embedded：嵌入法，先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据系数从大到小选择特征。

降维

• 基于L1惩罚项的模型
• 主成分分析法（PCA）
• 线性判别分析（LDA）

PCA是为了让映射后样本具有最大的发散性；而LDA是为了让映射后样本有最好的分类性能。
PCA是一种无监督的降维方法，而LDA是一种有监督的降维方法。

详情点击：

from http://www.cnblogs.com/jasonfreak/p/5448385.html