Task 3 特征工程
1.异常处理
2.特征归一化/标准化
3.数据分桶
4.缺失值处理
5.特征构造
1.异常处理
异常处理
(1)通过箱线图(或3-Sigma)分析删除异常值;
(2)BOX-COX转换(处理有偏分布);
(3)长尾截断、;
特征归一化/标准化
(1)标准化(转换为正态分布);
(2)归一化;
(3)针对幂律分布,可采用公式:𝑙𝑜𝑔( 1+x/(1+median))
数据分桶
(1)等频分桶;
(2)等距分桶;
(3)Best-KS 分桶(类似利用基尼指数进行二分类);
(4)卡方分桶;
缺失值处理
(1)不处理(针对类似 XGBoost 等树模型);
(2)删除(缺失数据太多);
(3)插值补全,包括均值/中位数/众数/建模预测/多重插补/压缩感知补全/矩阵补全等;
(4)分箱,缺失值一个箱
特征构造
(1)构造统计量特征,报告计数、求和、比例、标准差等;
(2)时间特征,包括相对时间和绝对时间,节假日,双休日等;
(3)地理信息,包括分箱,分布编码等方法;
(4)非线性变换,包括 log/ 平方/ 根号等;
(5)特征组合,特征交叉;