利用PermutationImportance挑选变量

我们在构建树类模型（XGBoost、LightGBM等）时，如果想要知道哪些变量比较重要的话。可以通过模型的feature_importances_方法来获取特征重要性。例如LightGBM的feature_importances_可以通过特征的分裂次数或利用该特征分裂后的增益来衡量。一般情况下，不同的衡量准则得到的特征重要性顺序会有差异。我一般是通过多种评价标准来交叉选择特征。博主认为，若一个特征在不同的评价标准下都是比较重要的，那么该特征对label有较好的预测能力。

为大家介绍一种评价特征重要性的方法：PermutationImportance。文档对该方法介绍如下：eli5 provides a way to compute feature importances for any black-box estimator by measuring how score decreases when a feature is not available; the method is also known as “permutation importance” or “Mean Decrease Accuracy (MDA)”.我的理解是：若将一个特征置为随机数，模型效果下降很多，说明该特征比较重要；反之则不是。

下面为大家举一个简单的例子，我们利用不同模型来挑选变量（RF、LightGBM、LR）。并挑选出来重要性排在前30的变量（总变量200+）进行建模。