sklearn:梯度提升正则化

最新推荐文章于 2023-12-28 01:17:23 发布

女搬运工

最新推荐文章于 2023-12-28 01:17:23 发布

阅读量622

点赞数

分类专栏： sklearn python

本文链接：https://blog.csdn.net/Dian1pei2xiao3/article/details/83793656

版权

本文探讨了不同正则化方法如何影响梯度提升模型的效果，特别是学习率和子采样策略。通过使用二项式偏差损失函数，结合小的学习率和子样本采样，可以有效提升模型的性能并降低方差。同时，通过调整最大特征数，可以进一步优化随机森林中的特征选择，提高模型准确性。

摘要由CSDN通过智能技术生成

不同正则化策略对梯度提升效果的说明。该示例取自Hastie等人2009。

使用的损失函数是二项式偏差。通过收缩的规则化（learning_rate <1.0）可以显着提高性能。与收缩相结合，随机梯度增强（子样本<1.0）可以通过减少包装的方差来产生更准确的模型。没有收缩的子采样通常效果不佳。减少方差的另一种策略是通过对随机森林中的随机分割类似的特征进行二次采样（通过max_features参数）。

import numpy as np
import matplotlib.pyplot as plt

from sklearn import ensemble
from sklearn import datasets


X, y = datasets.make_hastie_10_2(n_samples=12000, random_state=1)
X = X.astype(np.float32)

# map labels from {-1, 1} to {0, 1}
labels, y = np.unique(y, return_inverse=True)

X_train, X_test = X[:2000], X[2000:]
y_train, y_test = y[:2000], y[2000:]

original_params = {'n_estimators': 1000, 'max_leaf_nodes': 4, 'max_depth': None, 'random_state': 2,
                   'min_samples_split': 5}

plt.figure()

for label, color, setting in [('No shrinkage', 'orange',