特征工程

特征工程是什么？

　　有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。

特征工程包括：

①数据预处理：无量纲化（归一化、标准化），二值化，特征编码，缺失值处理，数据变换，等

②特征选择：filter（过滤方差小的特征，剔除样本和标签相关性小的特征），wrapper（通过目标函数决定是否加入一个特征：递归特征消除法），embedded（学习器自动学习选择特征：基于正则惩罚项（保留相关性强的样本的一个）、基于树模型特征选择如GBDT+LR、神经网络）

③降维，PCA/LDA

④数据清洗（异常样本清洗，采样（数据不均衡，过采样、欠采样、重采样SMOTE））