用xgboost模型对特征重要性进行排序及画图--Selectfrommodel模块选取特征的原理解析

最新推荐文章于 2024-02-07 22:21:41 发布

weixin_45271076

最新推荐文章于 2024-02-07 22:21:41 发布

阅读量4.2k

点赞数

本文链接：https://blog.csdn.net/weixin_45271076/article/details/98663331

版权

http://blog.itpub.net/31542119/viewspace-2199549/
什么是Xgboost:boosting算法的思想是将许多弱分类器集成在一起形成强分类器，xgboost是一种提升树模型，许多树模型集成在一起，形成一个很强的分类器，树模型是CART回归树模型：
CART回归树模型：假设树是二叉树，通过不断将特征进行分裂
二、XGBoost算法思想
就是不断的添加树，不断的进行特征分裂来生长一棵树，每次添加一个数，其实就是学习一个新函数，去拟合上次预测的残差，当我们训练完成得到K颗数，我们要预测一个样本的分行诉，
https://blog.csdn.net/waitingzby/article/details/81610495

from numpy import sort
from xgboost import XGBClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.feature_selection import SelectFromModel
dataset=loadtxt("diabets.txt",delimiter=',')
X=dataset[:,0:8]
y=dataset[:,8]
X_train,X_test,y_train,y_test=train_test_split(X,