XGBoost 依据模型特征重要性得分进行特征选择训练

最新推荐文章于 2024-03-03 15:00:18 发布

sd1480013

最新推荐文章于 2024-03-03 15:00:18 发布

阅读量1k

点赞数 1

分类专栏：基于模型训练特征得分进行特征选择文章标签： python

本文链接：https://blog.csdn.net/m0_56042477/article/details/119608232

版权

本文介绍了如何利用XGBoost模型的特征重要性，并结合sklearn的SelectFromModel进行特征选择。SelectFromModel允许设定阈值、预拟合模型参数，以及最大特征数等选项来优化特征子集。

摘要由CSDN通过智能技术生成

从具有最高分数的模型特征中进行选择class sklearn.feature_selection.SelectFromModel(estimator, *, threshold=None, prefit=False, norm_order=1, max_features=None)

可选参数：

（1）estimator: object，用来构建变压器的基本估算器。既可以是拟合的（如果prefit设置为True），也可以是不拟合的估计量。拟合后，估计量必须具有 feature_importances_或coef_属性
（2）threshold: str, float, optional default None，用于特征选择的阈值。保留重要性更高或相等的要素，而其他要素则被丢弃。如果为“中位数”（分别为“均值”），则该threshold值为特征重要性的中位数（分别为均值）。也可以使用缩放因子（例如，“ 1.25 *平均值”）。如果为None（无），并且估计器的参数惩罚显式或隐式设置为l1（例如Lasso），则使用的阈值为1e-5。否则，默认情况下使用“平均值”
（3）prefit: bool, default False，预设模型是否期望直接传递给构造函数。如果为True，transform必须直接调用和SelectFromModel不能使用cross_val_score， GridSearchCV而且克隆估计类似的实用程序。否则，使用训练模型fit，然后transform进行特征选择。
（4）norm_order: 非零 int, i