机器学习-回归模型评估及参数调优

最新推荐文章于 2023-02-10 17:00:21 发布

疯子书生z

最新推荐文章于 2023-02-10 17:00:21 发布

阅读量2.8k

点赞数

分类专栏：机器学习文章标签： python 机器学习

本文链接：https://blog.csdn.net/qq_42240729/article/details/115184716

版权

本文详细介绍了如何通过GridSearchCV进行网格搜索和RandomizedSearchCV进行随机搜索，对支持向量机(SVR)的超参数进行调优，以提升模型在波士顿房价数据集上的预测性能。通过实例展示了如何设置参数网格和分布，以及如何获取最佳参数组合和得分。

摘要由CSDN通过智能技术生成

1.参数与超参数

参数：最小二乘法或者梯度下降法等最优化算法优化出来的数。
超参数：无法用最小二乘法或者梯度下降法等最优化算法优化出来的数。

简单来说，模型参数就是模型内部的配置变量，可以用数据估计它的值。

模型参数一般具有以下特征：

进行预测时需要参数。
它参数定义了可使用的模型。
参数是从数据估计或获悉的。
参数通常不由编程者手动设置。
参数通常被保存为学习模型的一部分。
参数是机器学习算法的关键，它们通常由过去的训练数据中总结得出。

模型超参数是模型外部的配置，其值无法从数据中估计。

模型超参数特征：
超参数通常用于帮助估计模型参数。
超参数通常由人工指定。
超参数通常可以使用启发式设置。
超参数经常被调整为给定的预测建模问题。

2.调参

调参简单来说就是取不同的超参数的值对于模型的性能有不同的影响。

先对未调参的SVR进行评价：

from sklearn.svm import SVR     # 引入SVR类
from sklearn.pipeline import make_pipeline   # 引入管道简化学习流程
from sklearn.preprocessing import StandardScaler # 由于SVR基于距离计算，引入对数据进行标准化的类
from sklearn.model_selection import GridSearchCV  # 引入网格搜索调优
from sklearn.model_selection import cross_val_score # 引入K折交叉验证
from sklearn import datasets


boston = datasets.load_boston()     # 返回一个类似于字典的类
X = boston.data
y = boston.target
features = boston.feature_names
pipe_SVR = make_pipeline(StandardScaler(),
                                                         SVR(