特征工程简介

1.数据预处理

    1.无量纲化处理

    （1）若数据服从正态分布，则将输出处理为，服从标准正态分布。

    （2）数据归一化

    

    2.独热编码与哑编码

    (1)独热编码

    苹果{1， 0， 0， 0}

    梨子{0， 1， 0， 0}

    香蕉{0， 0， 1， 0}

    芒果{0， 0， 0， 1}

    (2) 哑编码

    苹果{1， 0， 0}

    梨子{0， 1， 0}

    香蕉{0， 0， 1}

    芒果{0， 0， 0}

    注：哑编码与独热编码的区别在于哑编码去除了任意一个状态位

    3.缺失值补充

     (1)舍弃

     (2)临近值填充

     (3)均值填充

     (4)插值算法

2.特征选择

1.方差选择法：若某一特征数值变化平缓，其对结果的影响也较小。

2.相关系数：衡量特征间相关性

3.互信息法

4.机器学习

例：随机森林算法可得到特征重要性评估

3.特征降维

1.PCA Principal Component Analysis主成分分析

通过PCA可将原始特征映射到新的空间，是得到的向量具有最大不相关性，PCA为无监督算法

2.LDA Linear Discriminant Analysis 线性判别分析

LDA使特征在新的子空间具有最大类间距离，最小类内距离，LDA为有监督算法

3.局部线性嵌入 Locally Linear Enbedding

LLE认为每个数据都可以通过其近邻加权得到

4.特征构造

根据项目属性，数据特点自行构造出可能重要的特征。