【kaggle】特征工程 trick

一、特征工程流程

• 结构化比赛中，做特征工程时：
  • 可以先利用统计值筛选特征，比如缺失比例大于99%，或者信息量较少的特征；
  • 然后再做特征编码，在编码后也可以利用模型去筛选特征。
• 如果原始数据的特征足够有效，就可以不做特征筛选；
• 利用统计值筛选，比模型筛选靠谱点。

二、类别编码方法

• 对于类别字段，是one hot、标签编码、频率编码和目标编码都要做吗：
  • 先看类别字段的取值空间，如果不大，可以one hot独热编码。
  • 通过EDA分析频率编码和目标编码是否足够有区分性，再决定做不做。

三、特征交叉

• 根据特征A和特征B，构造新的特征：A+B、A-B、A*B、group(A)[B]等
• 可以从EDA先分析，能分析新特征，和标签存在相关性，则可以做。

四、特征筛选

• 基于模型如何筛选特征：排列重要性、shap value、null importance
• 如果筛选后分数下降：考虑保留下来，好的筛选方法筛选结果一般不会对精度有很大影响。