机器学习中的早停策略

最新推荐文章于 2025-09-04 06:41:07 发布

原创

最新推荐文章于 2025-09-04 06:41:07 发布 · 2.5k 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #python #机器学习

本文探讨了如何利用早停策略在LightGBM模型中避免过拟合和欠拟合，通过GridSearchCV进行参数调优，并介绍了HyperGBM的早停策略应用。核心内容包括验证集性能与迭代次数的关系、早停策略的实践、以及在时间限制和性能目标下的模型优化策略。

前言

在做机器学习模型调优的时候，往往会通过一系列的操作去提升调优效率，其中有一种技术就是合理运用早停策略。

关于数据集：本文直接使用kaggle的数据集，你可以直接点击链接下载。

一、入门

1.验证集性能和迭代次数的关系

我们这里选用lightgbm算法作为演示，随机选择了一些参数值，然后设置n_estimators=1000，接下来我们来看一下验证集的性能和n_estimators的关系。

data = pd.read_csv('..\resource\data.csv',index_col=0)
Y = data.pop('target')
X = data
x_train,x_eval,y_train,y_eval = train_test_split(X,Y, test_size=0.2, random_state=623)

#模型训练
clf = lgb.LGBMClassifier(max_depth=4,n_estimators=1000,learning_rate=0.07)
clf.fit(x_train,y_train,eval_set=[(x_eval,y_eval)])

#获取验证集的结果
evals_results = clf.evals_result_['valid_0']['multi_logloss']

#画图
plt.plot(evals_results)
plt.vlines(100, 1.09, evals_results[100],color="red")
plt.vlines(np.argmin(evals_results), 1.09, evals_results[np.argmin