机器学习之XGBoost分类器XGBClassifier-- xgb使用sklearn接口

机器学习之XGBoost分类器XGBClassifier
# -*- coding: utf-8 -*-
"""
 

@author: abc
"""

'''
    xgb使用sklearn接口(推荐)--官方:
    会改变的函数名是:
    eta -> learning_rate
    lambda -> reg_lambda
    alpha -> reg_alpha
    
    #参数
    
    params = { 'booster': 'gbtree', 
               'objective': 'multi:softmax', # 多分类的问题 
               'num_class': 10, # 类别数,与 multisoftmax 并用 
               'gamma': 0.1, # 用于控制是否后剪枝的参数,越大越保守,一般0.1、0.2这样子。 
               'max_depth': 12, # 构建树的深度,越大越容易过拟合 
               'reg_lambda': 2, # 控制模型复杂度的权重值的L2正则化项参数,参数越大,模型越不容易过拟合。 
               'subsample': 0.7, # 随机采样训练样本 
               'colsample_bytree': 0.7, # 生成树时进行的列采样 
               'min_child_weight': 3, 
               'silent': 1, # 设置成1则没有运行信息输出,最好是设置为0. 
               'learning_rate': 0.007, # 如同学习率 
               'reg_alpha':0, # L1 正则项参数
               'seed': 1000, 
               'nthread': 4, # cpu 线程数 
              }
    
    # 回归
    # m_regress = xgb.XGBRegressor(n_estimators=1000,seed=0)
'''


from sklearn.model_selection import train_test_split
from sklearn import metrics
from  sklearn.datasets  import  make_hastie_10_2
from xgboost.sklearn import XGBClassifier

# make_hastie_10_2:
#    产生一个相似的二元分类器数据集,有10个维度
X, y = make_hastie_10_2(random_state=0)
# X:(12000, 10)
# y:(12000,)

# test_size测试集合所占比例
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)
clf = XGBClassifier(
        #树的个数
        n_estimators=100,
        # 如同学习率
        learning_rate= 0.3, 
        # 构建树的深度,越大越容易过拟合    
        max_depth=6, 
        # 随机采样训练样本 训练实例的子采样比
        subsample=1, 
        # 用于控制是否后剪枝的参数,越大越保守,一般0.1、0.2这样子
        gamma=0, 
        # 控制模型复杂度的权重值的L2正则化项参数,参数越大,模型越不容易过拟合。
        reg_lambda=1,  
        
        #最大增量步长,我们允许每个树的权重估计。
        max_delta_step=0,
        # 生成树时进行的列采样 
        colsample_bytree=1, 

        # 这个参数默认是 1,是每个叶子里面 h 的和至少是多少,对正负样本不均衡时的 0-1 分类而言
        # 假设 h 在 0.01 附近,min_child_weight 为 1 意味着叶子节点中最少需要包含 100 个样本。
        #这个参数非常影响结果,控制叶子节点中二阶导的和的最小值,该参数值越小,越容易 overfitting。
        min_child_weight=1, 

        #随机种子
        seed=1000 
        
        # L1 正则项参数
#        reg_alpha=0,
        
        #如果取值大于0的话,在类别样本不平衡的情况下有助于快速收敛。平衡正负权重
        #scale_pos_weight=1,
        
        #多分类的问题 指定学习任务和相应的学习目标
        #objective= 'multi:softmax', 
        
        # 类别数,多分类与 multisoftmax 并用
        #num_class=10,
        
        # 设置成1则没有运行信息输出,最好是设置为0.是否在运行升级时打印消息。
#        silent=0 ,
        # cpu 线程数 默认最大
#        nthread=4,
    
        #eval_metric= 'auc'
)

# 模型 训练
clf.fit(X_train,y_train,eval_metric='auc')
# 预测值
y_pred=clf.predict(X_test)
# 真实值 赋值
y_true= y_test

# 计算精度
print("Accuracy : %.4g" % metrics.accuracy_score(y_true, y_pred))
 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
XGBoost是一种用于机器学习的强大算法,它可以在分类和回归任务中获得很好的性能。但是,为了达到最佳性能,需要对其超参数进行调整。 以下是XGBoost中需要调整的一些重要超参数: 1. n_estimators:决定树的数量,也就是模型中的基本学习者数量。 2. max_depth:树的最大深度,过高的深度可能导致过度拟合。 3. learning_rate:控制每个基本学习器的权重更新步长。 4. subsample:每次训练模型时用于构建树的样本比例。 5. colsample_bytree:每次训练模型时用于构建树的特征比例。 6. gamma:控制当树分裂时,节点的最小损失减少量。 7. reg_alpha:L1正则化参数,用于控制模型的复杂度。 8. reg_lambda:L2正则化参数,用于控制模型的复杂度。 下面是一个简单的XGBoost参数调优示例: ```python import xgboost as xgb from sklearn.datasets import load_digits from sklearn.model_selection import GridSearchCV # 加载数据集 digits = load_digits() X, y = digits.data, digits.target # 定义参数范围 param_grid = {'n_estimators': [50, 100, 150], 'max_depth': [2, 3, 4], 'learning_rate': [0.01, 0.1, 0.5], 'subsample': [0.6, 0.8, 1.0], 'colsample_bytree': [0.6, 0.8, 1.0], 'gamma': [0, 0.1, 0.2], 'reg_alpha': [0, 0.1, 1], 'reg_lambda': [0, 0.1, 1]} # 定义分类器 xgb_model = xgb.XGBClassifier(objective='multi:softmax', num_class=10) # 定义网格搜索 grid_search = GridSearchCV(estimator=xgb_model, param_grid=param_grid, cv=5, n_jobs=-1) # 进行参数调优 grid_search.fit(X, y) # 输出最佳参数 print("Best parameters found: ", grid_search.best_params_) ``` 在上面的代码中,我们使用了网格搜索来寻找最佳超参数。我们定义了一个参数范围字典,包含了所有需要调整的超参数及其可能的值。然后,我们定义了一个XGBoost分类器,并将其作为估计器传递给网格搜索。最后,我们调用fit()方法来运行网格搜索,找到最佳参数组合。 总的来说,XGBoost是一种非常强大的机器学习算法,但是需要调整一些重要的超参数才能实现最佳性能。通过调整这些超参数,可以使XGBoost在分类和回归任务中获得更好的性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值