Task3:特征工程——二手车交易价格预测

一、特征工程的常用方法

1. 特征工程的目的：通过上一步的特征分析，去构建有效的特征来拟合隐藏的规律。

2. 常用方法：
   A. 异常处理：
   a) 通过箱线图（或 3-Sigma）分析删除异常值；
   b) BOX-COX 转换（处理有偏分布）；
   c) 长尾截断；

   B. 特征归一化/标准化：
   a) 标准化（转换为标准正态分布）；
   b) 归一化（抓换到 [0,1] 区间）；
   c) 针对幂律分布，可以采用公式： 𝑙𝑜𝑔(1+𝑥1+𝑚𝑒𝑑𝑖𝑎𝑛)

   C. 数据分桶：
   a) 等频分桶；
   b) 等距分桶；
   c) Best-KS 分桶（类似利用基尼指数进行二分类）；
   d) 卡方分桶；

   D. 缺失值处理：
   a) 不处理（针对类似 XGBoost 等树模型）；
   b) 删除（缺失数据太多）；
   c) 插值补全，包括均值/中位数/众数/建模预测/多重插补/压缩感知补全/矩阵补全等；
   d) 分箱，缺失值一个箱；

   E. 特征构造：
   a) 构造统计量特征，报告计数、求和、比例、标准差等；
   b) 时间特征，包括相对时间和绝对时间，节假日，双休日等；
   c) 地理信息，包括分箱，分布编码等方法；
   d) 非线性变换，包括 log/ 平方/ 根号等；
   e) 特征组合，特征交叉；
   f) 仁者见仁，智者见智。

   F. 特征筛选
   a) 过滤式（filter）：先对数据进行特征选择，然后在训练学习器，常见的方法有 Relief/方差选择发/相关系数法/卡方检验法/互信息法；
   b) 包裹式（wrapper）：直接把最终将要使用的学习器的性能作为特征子集的评价准则，常见方法有 LVM（Las Vegas Wrapper） ；
   c) 嵌入式（embedding）：结合过滤式和包裹式，学习器训练过程中自动进行了特征选择，常见的有 lasso 回归；

   G. 降维
   a) PCA/ LDA/ ICA；
   b) 特征选择也是一种降维。

二. 该题中的特征工程

1. 处理异常值:通过箱型图处理异常值.
异常值处理了两个：power和训练集的price。 处理完后，虽然训练数据很好看，达到了360左右，但是测试糟糕，提交后4000+。 回归问题最怕异常值，说明测试集中也存在异常值，因此训练集感觉不能处理异常值。

2. 构造使用时间的特征: 用regDate-creatDate.

3. 构造邮编特征: 原先的regionCode太稀疏了，舍弃该特征，构造城市特征。 因为该特征做过脱敏处理，因此取前两位。

4. 构造品牌统计量信息: 计算某品牌的销售统计量，还可以计算其他特征的统计量.
尝试构造过交易名称name，model等统计量，似乎容易过拟合.
这里要以 train 的数据计算统计量.

5. 处理object特征-notRepairedDamage
a) 处理特征中的“-”
b) 变为数字特征

6. 'seller’和’offerType’特征处理
'seller’和’offerType’基本只存在相同的一类特征，对回归没有帮助，可以删除

7. 根据皮尔系数相关性矩阵，去掉一些强相关的匿名特征

8. log处理power特征
之前数据分析中，power的偏度和峰度都比较大，因此做一下log处理比较好。

9. 最后保存数据，方便训练模型的时候调用

**注：**归一化基本没有做，是因为使用xgboost和lightgbm模型对数据大小不敏感，使用线性等模型需要作归一化。

代码传送门