用sklearn做一个完整的机器学习工程——以波士顿房价预测为例（三、调参，找最优参数）

最新推荐文章于 2023-09-02 18:30:02 发布

PythonstartL

最新推荐文章于 2023-09-02 18:30:02 发布

阅读量2.7k

点赞数

本文链接：https://blog.csdn.net/PythonstartL/article/details/83347173

版权

本文介绍了如何使用sklearn进行机器学习模型的参数调优，以波士顿房价预测为例，详细讲解了GridSearch和RandomizedSearchCV的使用方法，并给出了XGBoost和随机森林的调参示例。通过对模型进行调参，以提高预测准确性。

摘要由CSDN通过智能技术生成

前言

本来是打算介绍一下：GBDT、XGboost的原理的，看着看着发现网络上的博客资料都不是很全，讲的云里雾里。

建议直接阅读一下Friedman的论文和陈天奇的论文，链接: https://pan.baidu.com/s/14TmsZTorZmOAHEwZU5fiNA 密码: g2g1

下面我要开始介绍sklearn中的调参步骤啦

如果你现在有了一个列表，列表里有几个有希望的模型。你现在需要对它们进行微调。让我们来看sklearn中提供的俩种微调的方法

网格化调整参数和随机参数

由于这里训练时间的关系我只展示 Xgboost的调参和随机森林的调参，GBDT训练的速度有点慢了

GridSearch

网格化调整超参数所需要做的是告诉GridSearchCV要试验有哪些超参数，要试验什么值，GridSearchCV就能用交叉验证试验所有可能超参数值的组合

比如下面对随机森林的网格化调参

from sklearn.model_selection import GridSearchCV

param_grid = [
    
    {'n_estimators': [3, 10, 30], 'max_features': [2, 4, 6, 8]},
    
    {'bootstrap': [False], 'n_estimators': [3, 10], 'max_features': [2, 3, 4]},
  ]

forest_reg = RandomForestRegressor(random_state=42)
# train across 5 folds, that's a total of (12+6)*5=