数据挖掘中的那些trick（持续更新）

1.数据清洗

1.1 缺失值填充

在数据挖掘竞赛中，由于xgb、lgb的强大功能，很多时候训练模型并不需要对缺失值进行填充。
对于缺失量达到一定比例的特征，可以考虑将其舍弃。但在EDA作图或是REFCV特征筛选时，要求不能存在缺失数据，因此有时还是要对缺失值进行填充。
简单的缺失值填充可以参考以下原则：

• 特征服从正太分布时，采用平均值进行填充；
• 而当分布不呈正太分布时（大多数是长尾分布），使用中位数效果比较好。

dataset[feature].fillna(dataset[feature].mean())
dataset[feature].