2021-03-24

超参数和参数

  - 进行预测时需要参数。                     
  - 它参数定义了可使用的模型。                        
  - 参数是从数据估计或获悉的。                       
  - 参数通常不由编程者手动设置。                     
  - 参数通常被保存为学习模型的一部分。                      
  - 参数是机器学习算法的关键，它们通常由过去的训练数据中总结得出 。                          

  - 超参数通常用于帮助估计模型参数。
  - 超参数通常由人工指定。
  - 超参数通常可以使用启发式设置。
  - 超参数经常被调整为给定的预测建模问题

流程

from sklearn.svm import SVR     # 引入SVR类
from sklearn.pipeline import make_pipeline   # 引入管道简化学习流程
from sklearn.preprocessing import StandardScaler # 由于SVR基于距离计算，引入对数据进行标准化的类
from sklearn.model_selection import GridSearchCV  # 引入网格搜索调优
from sklearn.model_selection import cross_val_score # 引入K折交叉验证
from sklearn import datasets

pipe_svr = Pipeline([("StandardScaler",StandardScaler()),                                                  ("svr",SVR())])
param_range = [0.0001,0.001,0.01,0.1,1.0,10.0,100.0,1000.0]
param_grid = [{"svr__C":param_range,"svr__kernel":["linear"]},  # 注意__是指两个下划线，一个下划线会报错的
                            {"svr__C":param_range,"svr__gamma":param_range,"svr__kernel":["rbf"]}]
gs = GridSearchCV(estimator=pipe_svr,param_grid = param_grid,
                  scoring = 'r2',cv = 10)       # 10折交叉验证
gs = gs.fit(X,y)

代码解释：StandardScaler():数据的标准化
param_grid:对每个部分的参数前加双下划线
GridSearchCV() 参数，estimator:模型，param_grid：待选超参数
cv:几折交叉验证 scoring:评分准则