Task 3 特征工程

Task 3 特征工程

1.异常处理
2.特征归一化/标准化
3.数据分桶
4.缺失值处理
5.特征构造
1.异常处理

异常处理

（1）通过箱线图（或3-Sigma）分析删除异常值；
（2）BOX-COX转换（处理有偏分布）；
（3）长尾截断、；

特征归一化/标准化

（1）标准化（转换为正态分布）；
（2）归一化；
（3）针对幂律分布，可采用公式：𝑙𝑜𝑔( 1+x/（1+median））

数据分桶

（1）等频分桶；
（2）等距分桶；
（3）Best-KS 分桶（类似利用基尼指数进行二分类）；
（4）卡方分桶；

缺失值处理

（1）不处理（针对类似 XGBoost 等树模型）；
（2）删除（缺失数据太多）；
（3）插值补全，包括均值/中位数/众数/建模预测/多重插补/压缩感知补全/矩阵补全等；
（4）分箱，缺失值一个箱

特征构造

（1）构造统计量特征，报告计数、求和、比例、标准差等；
（2）时间特征，包括相对时间和绝对时间，节假日，双休日等；
（3）地理信息，包括分箱，分布编码等方法；
（4）非线性变换，包括 log/ 平方/ 根号等；
（5）特征组合，特征交叉；