数据挖掘之特征工程简要流程

1.特征工程是什么

相信很多人都听说过这么一句话，数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。顾名思义，特征工程的目的是最大限度地从原始数据中提取特征以供算法和模型使用；特征工程的核心部分是特征处理，包括数据标准化，数据归一化，特征筛选，降维等。

2.数据预处理

2.1异常值处理

在一个数据集里面往往会存在一些异常值，孤立值。虽说它们是数据集的一部分，但是相对于数据集整体来说，它们“离群索居”，是数据集里面的极特殊的少数派，不能代表数据集的一般规律，会影响回归或分类的准确性。下面是三种异常值处理方法：

• 通过箱线图（或 3-Sigma）分析删除异常值；

• BOX-COX 转换（处理有偏分布）；

• 长尾截断；

2.2特征归一化与标准化

归一化与标准化有相似之处，但作用却大不相同。归一化是依照特征矩阵的列处理数据，将样本的特征值转换到同一量纲下，把数据映射到[0,1]或者[-1, 1]区间内，仅由变量的极值决定。标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，转换为标准正态分布，和整体样本分布相关，每个样本点都能对标准化产生影响。它们的相同点在于都能取消由于量纲不同引起的误差；都是一种线性变换，都是对向量X按照比例压缩再进行平移。

• 标准化（转换为标准正