贝叶斯优化调参

在机器学习项目中，一项十分重要的工作就是调整超参数，但有些算法的参数十分多，手动调参效率十分低下，而已存在的自动调参方法中网格搜索和随机搜索又十分缓慢，这里介绍一种贝叶斯调参法，为了知道该算法的实际应用，不会讲解原理，而是了解其实际应用。
这里采用随机森林算法作为讲解，实际应用时其它的算法调参时也可按照该模板进行调参。

#导入相应的库
from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score,KFold
from bayes_opt import BayesianOptimization
#生成一个简单的二分类数据集
x, y = make_classification(n_samples=1000,n_features=10,n_classes=2)
print(x.shape,y.shape)

>>>(1000, 10) (1000,)

#直接使用默认参数的随机森林进行分类
rf=RandomForestClassifier(random_state=0)
#划分出训练集和验证集
cv=KFold(n_splits=5,shuffle=True,random_state=0)
#计算交叉验证分数，这里的指标选择的是"roc_auo"
cross_val_score(rf,x,y,scoring="roc_auc",cv=cv).mean()

>>>0.9726355366078334

直接使用未调参的随机森林模型得出的结果为0.972，接下来对该模型进行贝叶斯调参。<