一、特征工程的常用方法
-
特征工程的目的:通过上一步的特征分析,去构建有效的特征来拟合隐藏的规律。
-
常用方法:
A. 异常处理:
a) 通过箱线图(或 3-Sigma)分析删除异常值;
b) BOX-COX 转换(处理有偏分布);
c) 长尾截断;B. 特征归一化/标准化:
a) 标准化(转换为标准正态分布);
b) 归一化(抓换到 [0,1] 区间);
c) 针对幂律分布,可以采用公式: 𝑙𝑜𝑔(1+𝑥1+𝑚𝑒𝑑𝑖𝑎𝑛)C. 数据分桶:
a) 等频分桶;
b) 等距分桶;
c) Best-KS 分桶(类似利用基尼指数进行二分类);
d) 卡方分桶;D. 缺失值处理:
a) 不处理(针对类似 XGBoost 等树模型);
b) 删除(缺失数据太多);
c) 插值补全,包括均值/中位数/众数/建模预测/多重插补/压缩感知补全/矩阵补全等;
d) 分箱,缺失值一个箱;E. 特征构造:
a) 构造统计量特征,报告计数、求和、比例、标准差等;
b) 时间特征,包括相对时间和绝对时间,节假日,双休日等;
c) 地理信息,包括分箱,分布编码等方法;
d) 非线性变换,包括 log/ 平方/ 根号等;
e) 特征组合,特征交叉;
f) 仁者见仁,智者见智。F. 特征筛选
a) 过滤式(filter):先对数据进行特征选择,然后在训练学习器,常见的方法有 Relief/方差选择发/相关系数法/卡方检验法/互信息法;
b) 包裹式(wrapper):直接把最终将要使用的学习器的性能作为特征子集的评价准则,常见方法有 LVM(Las Vegas Wrapper) ;
c) 嵌入式(embedding):结合过滤式和包裹式,学习器训练过程中自动进行了特征选择,常见的有 lasso 回归;G. 降维
a) PCA/ LDA/ ICA;
b) 特征选择也是一种降维。
二. 该题中的特征工程
1. 处理异常值:通过箱型图处理异常值.
异常值处理了两个:power和训练集的price。 处理完后,虽然训练数据很好看,达到了360左右,但是测试糟糕,提交后4000+。 回归问题最怕异常值,说明测试集中也存在异常值,因此训练集感觉不能处理异常值。
2. 构造使用时间的特征: 用regDate-creatDate.
3. 构造邮编特征: 原先的regionCode太稀疏了,舍弃该特征,构造城市特征。 因为该特征做过脱敏处理,因此取前两位。
4. 构造品牌统计量信息: 计算某品牌的销售统计量,还可以计算其他特征的统计量.
尝试构造过交易名称name,model等统计量,似乎容易过拟合.
这里要以 train 的数据计算统计量.
5. 处理object特征-notRepairedDamage
a) 处理特征中的“-”
b) 变为数字特征
6. 'seller’和’offerType’特征处理
'seller’和’offerType’基本只存在相同的一类特征,对回归没有帮助,可以删除
7. 根据皮尔系数相关性矩阵,去掉一些强相关的匿名特征
8. log处理power特征
之前数据分析中,power的偏度和峰度都比较大,因此做一下log处理比较好。
9. 最后保存数据,方便训练模型的时候调用
**注:**归一化基本没有做,是因为使用xgboost和lightgbm模型对数据大小不敏感,使用线性等模型需要作归一化。