基于Boosting的四种机器算法的简单运用

于 2024-08-13 14:53:52 发布
阅读量698 收藏 16
点赞数 18
文章标签： 机器学习 boosting 集成学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61867911/article/details/141108945
版权

        Boosting是一种集成学习算法，其核心思想是通过组合多个弱学习器来构建一个强学习器。本文包含 AdaBoost、Gradient Boosting Decision Tree（GBDT）、XGBoost、LightGBM 四种机器学习算法，主要给出示例代码以及模型参数，旨在快速的上手相应算法。

目录

一、 AdaBoost

1、AdaBoostClassifier（分类）

2、AdaBoostRegressor（回归）

二、GBDT

1、GradientBoostingClassifier（分类）

2、GradientBoostingRegressor（回归）

三、XGBoost

1、XGBClassifier（分类）

2、XGBRegressor（回归）

四、LightGBM 

1、LGBMClassifier（分类）

2、LGBMRegressor （回归）

总结 

一、 AdaBoost

        AdaBoost（Adaptive Boosting，自适应增强）算法是一种集成学习技术，通过结合多个弱分类器来构建一个强分类器。

        AdaBoost 的核心思想是通过修正数据的权重来训练一系列的弱学习器,由这些弱学习器的预测结果进行加权求和, 得到我们最终的预测结果。

1、AdaBoostClassifier（分类）

官方链接：AdaBoostClassifier — scikit-learn 1.5.1 documentation

class sklearn.ensemble.AdaBoostClassifier

示例代码：

from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 初始化AdaBoost分类器，使用决策树作为基分类器
clf = AdaBoostClassifier(estimator=DecisionTreeClassifier(max_depth=1), n_estimators=50,
                         learning_rate=1.0,algorithm='SAMME',random_state=66)

# 训练模型
clf.fit(X_train, y_train)

# 进行预测
y_pred = clf.predict(X_test)

# 打印准确率
print(f"Test Accuracy: {clf.score(X_test, y_test)}\n")

# 打印分类报告
print("classification report:")
print(classification_report(y_test, y_pred))

 output：

2、AdaBoostRegressor（回归）

官方链接：AdaBoostRegressor — scikit-learn 1.5.1 documentation

class sklearn.ensemble.AdaBoostRegressor

示例代码：

import numpy as np
from sklearn.ensemble import AdaBoostRegressor
from sklearn.tree import DecisionTreeRegressor

# 准备数据
rng = np.random.RandomState(66)
num = 100
X = np.linspace(0, 6, num)[:, np.newaxis]
y = np.sin(X).ravel() + np.sin(6 * X).ravel() + rng.normal(0, 0.1, X.shape[0])

# 初始化模型
regr = AdaBoostRegressor(
    DecisionTreeRegressor(max_depth=4), n_estimators=300, random_state=rng
)
# 训练模型
regr.fit(X, y)
# 进行预测
y_pred = regr.predict(X)

# 打印准确度
print(f"Accuracy: {regr.score(X, y):.4f}")

# output:
# Accuracy: 0.9723

可视化：

import matplotlib.pyplot as plt
import seaborn as sns

colors = sns.color_palette("colorblind")

plt.figure()
plt.scatter(X, y, color=colors[0], label="samples")
plt.plot(X, y, color=colors[1], label="Regressor", linewidth=3)
plt.xlabel("data")
plt.ylabel("target")
plt.title("AdaBoostRegressor")
plt.legend()
plt.show()

二、GBDT

        GBDT（Gradient Boosting Decision Tree，梯度提升决策树）是一种集成学习算法，它通过构造一组弱的学习树，逐步添加决策树来最小化一个可导的损失函数，每棵树都在前一棵树的残差上进行训练，并把多颗决策树的结果累加起来作为最终的预测输出，它既能用于分类问题也可以用于回归问题。

1、GradientBoostingClassifier（分类）

官方链接：GradientBoostingClassifier — scikit-learn 1.5.1 documentation

class sklearn.ensemble.GradientBoostingClassifier

 示例代码：

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 模型参数
params = {
    "n_estimators": 100,       # 弱学习器的数量
    "max_depth": 3,            # 树的最大深度
    "learning_rate": 0.1,     # 学习率
    "random_state": 66         # 随机状态，确保结果可复现
}

# 初始化 GradientBoostingClassifier
gb_clf = GradientBoostingClassifier(**params)

# 训练模型
gb_clf.fit(X_train, y_train)

# 进行预测
y_pred = gb_clf.predict(X_test)

# 评估模型的准确度
# 打印分类报告
print("classification report:")
print(classification_report(y_test, y_pred))

# 打印特征重要性
feature_importances = gb_clf.feature_importances_
print("Feature importances:")
for feature, importance in zip(iris.feature_names, feature_importances):
    print(f"\t{feature}: {importance:.4f}")

output： 

2、GradientBoostingRegressor（回归）

官方链接：GradientBoostingRegressor — scikit-learn 1.5.1 documentation

class sklearn.ensemble.GradientBoostingRegressor

 示例代码：

from sklearn.ensemble import GradientBoostingRegressor
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 生成合成回归数据
X, y = make_regression(n_samples=1000, n_features=10, noise=0.1, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 模型参数
params = {
    'n_estimators': 100,        # 弱学习器的数量
    'learning_rate': 0.1,       # 学习率
    'max_depth': 3,             # 树的最大深度
    'random_state': 42,         # 随机状态，确保结果可复现
    'loss': 'squared_error'     # 使用均方误差作为损失函数
    }

# 初始化 GradientBoostingRegressor
gbr = GradientBoostingRegressor(**params)

# 训练模型
gbr.fit(X_train, y_train)

# 对测试集进行预测
y_pred = gbr.predict(X_test)

# 计算测试集的均方误差（MSE）
mse = mean_squared_error(y_test, y_pred)
print(f"Test Mean Squared Error: {mse:.2f}")

# 计算测试集的确定系数（R^2）
r2_score = gbr.score(X_test, y_test)
print(f"Test R^2 Score: {r2_score:.2f}")

# output
# Test Mean Squared Error: 1237.63
# Test R^2 Score: 0.93

可视化：

import matplotlib.pyplot as plt
import seaborn as sns

colors = sns.color_palette("colorblind")
check_len = len(y_test)
data = [x+(1000-check_len) for x in range(check_len)]
plt.figure()
plt.plot(data, y_test[-check_len:], color=colors[1], label="Actual", linewidth=2)
plt.plot(data, y_pred[-check_len:], color=colors[2], label="Predictions", linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("GradientBoostingRegressor")
plt.legend()
plt.show()

三、XGBoost

        XGBoost（eXtreme Gradient Boosting）是一种高效的机器学习算法，属于梯度提升（Gradient Boosting）算法的扩展。它由陈天奇等人在2016年开发，旨在提供一种快速、灵活且可扩展的树提升框架。

 官方链接：Python Package Introduction — xgboost 2.1.1 documentation

 说明：本文使用标准版（CPU版本）XGBoost，关于GPU加速版内容请参考官方文档。

1、XGBClassifier（分类）

class xgboost.XGBClassifier(*, objective='binary:logistic', **kwargs)

 示例代码：

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, classification_report

import xgboost as xgb

# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 设定参数
param = {
    "tree_method": 'hist',        # 树方法
    "objective": 'multi:softmax', # 目标函数
    "eval_metric": 'merror',      # 评估指标
    "num_class": 3,               # 类别数
    "n_estimators": 10,           # 弱学习器的数量
    "max_depth": 3,               # 树的最大深度
    "learning_rate": 0.1,         # 学习率
    "subsample": 0.8,             # 训练实例的子样本率
    "random_state": 42            # 随机状态，确保结果可复现
}

# 早停回调函数
early_stop = xgb.callback.EarlyStopping(
    rounds=2,                    # 早停回合数
    metric_name='merror',        # 用于早停的指标名
    save_best=True               # 返回最佳模型
)

# 创建XGBClassifier实例
xgb_clf = xgb.XGBClassifier(**param, callbacks=[early_stop])

# 训练模型
xgb_clf.fit(X_train, y_train, eval_set=[(X_train, y_train), (X_test, y_test)])

# 预测测试集
y_pred = xgb_clf.predict(X_test)

output：（每轮早停的验证信息）

 评估性能指标--示例代码：

# 打印分类报告
print("classification report:")
print(classification_report(y_test, y_pred))

# 打印特征重要性
feature_importances = xgb_clf.feature_importances_
print("Feature importances:")
for feature, importance in zip(iris.feature_names, feature_importances):
    print(f"\t{feature}: {importance:.4f}")

output： 

2、XGBRegressor（回归）

 class xgboost.XGBRegressor(*, objective='reg:squarederror', **kwargs)

 示例代码：

from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
import xgboost as xgb

# 生成合成回归数据
X, y = make_regression(n_samples=1000, n_features=10, noise=0.1, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 设定参数
param = {
    "tree_method": 'hist',             # 树方法
    "objective": 'reg:squarederror',   # 目标函数
    "eval_metric": 'rmse',             # 评估指标
    "n_estimators": 100,               # 弱学习器的数量
    "max_depth": 3,                    # 树的最大深度
    "learning_rate": 0.1,              # 学习率
    "base_score": 0.5,                 # 全局偏差
    "random_state": 42                 # 随机状态，确保结果可复现
}

# 创建XGBRegressor实例
xgb_reg = xgb.XGBRegressor(**param)

# 训练模型
xgb_reg.fit(X_train, y_train)

# 预测测试集
y_pred = xgb_reg.predict(X_test)

# 计算测试集的均方误差（MSE）
mse = mean_squared_error(y_test, y_pred)
print(f"Test Mean Squared Error: {mse:.2f}")

# 计算测试集的确定系数（R^2）
r2_score = xgb_reg.score(X_test, y_test)
print(f"Test R^2 Score: {r2_score:.2f}")

# output:
# Test Mean Squared Error: 1357.97
# Test R^2 Score: 0.93

 可视化：

import matplotlib.pyplot as plt
import seaborn as sns

colors = sns.color_palette("colorblind")
check_len = len(y_test)
data = [x+(1000-check_len) for x in range(check_len)]
plt.figure()
plt.plot(data, y_test[-check_len:], color=colors[1], label="Actual", linewidth=2)
plt.plot(data, y_pred[-check_len:], color=colors[2], label="Predictions", linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("XGBRegressor")
plt.legend()
plt.show()

四、LightGBM 

         LightGBM 是一个开源的梯度提升框架，是由微软开发的boosting集成模型，和XGBoost一样是对GBDT的优化和高效实现，使用基于树的学习算法。它设计用于处理大规模数据，具有高性能、低内存消耗和高准确率的特点。

官方链接：Python API — LightGBM 4.5.0.99 documentation

1、LGBMClassifier（分类）

class lightgbm.LGBMClassifier 

 示例代码：

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

import lightgbm as lgb

# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 设置参数
param = {
    "boosting_type": 'gbdt',   # boosting 类型
    "num_leaves": 31,          # 最大树叶数
    "max_depth": -1,           # -1即不限制树深度
    "learning_rate": 0.1,
    "n_estimators": 10,
    "objective": 'multiclass', # 多分类
    "random_state": 42,
    
}
# 创建LGBMClassifier实例
lgbm_clf = lgb.LGBMClassifier(**param)

# 训练模型
lgbm_clf.fit(X_train, y_train)

# 预测测试集
y_pred = lgbm_clf.predict(X_test)

训练模型时，输出 ：

注："[LightGBM] [Warning] No further splits with positive gain, best gain: -inf"  警告出现可能是模型已经训练足够，或者所有可能的分裂均已测试，不一定是模型性能不佳。

评估性能指标--示例代码： 

# 打印分类报告
print("classification report:")
print(classification_report(y_test, y_pred))

# 打印特征重要性
feature_importances = lgbm_clf.feature_importances_
print("Feature importances:")
for feature, importance in zip(iris.feature_names, feature_importances):
    print(f"\t{feature}: {importance:.4f}")

 output：

2、LGBMRegressor （回归）

class lightgbm.LGBMRegressor 

 示例代码：

from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

import lightgbm as lgb

# 生成合成回归数据
X, y = make_regression(n_samples=1000, n_features=10, noise=0.1, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 设置参数
param = {
    "boosting_type": 'gbdt',   # boosting 类型
    "num_leaves": 31,          
    "max_depth": -1,           
    "learning_rate": 0.05,
    "n_estimators": 100,
    "objective": 'regression', # 回归
    "random_state": 42,
}

# 创建LGBMRegressor实例
lgb_reg = lgb.LGBMRegressor(**param)

# 训练模型
lgb_reg.fit(X_train, y_train)

# 预测测试集
y_pred = lgb_reg.predict(X_test)

# 计算测试集的均方误差（MSE）
mse = mean_squared_error(y_test, y_pred)
print(f"Test Mean Squared Error: {mse:.2f}")

# 计算测试集的确定系数（R^2）
r2_score = lgb_reg.score(X_test, y_test)
print(f"Test R^2 Score: {r2_score:.2f}")

# output:
# Test Mean Squared Error: 1219.03
# Test R^2 Score: 0.93

可视化： 

import matplotlib.pyplot as plt
import seaborn as sns

colors = sns.color_palette("colorblind")
check_len = len(y_test)
data = [x+(1000-check_len) for x in range(check_len)]
plt.figure()
plt.plot(data, y_test[-check_len:], color=colors[1], label="Actual", linewidth=2)
plt.plot(data, y_pred[-check_len:], color=colors[2], label="Predictions", linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("LGBMRegressor")
plt.legend()
plt.show()

 

总结 

        本文列举了AdaBoost、GBDT、XGBoost、LightGBM四种机器学习算法，通过scikit-learn API 描述内容进行简单实操。实际上，本文只是使用简单的数据进行验证，并不能体现算法的实际效率，比如XGBoost、LightGBM两种在处理超大数据集上性能。与此同时，对于上述算法的使用仅仅是停留在最基础层次，还有许多可以优化的地方，比如设置早停参数、超参数调优、交叉验证 等方法。

潦草gallery
关注
  • 18
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于Python常用机器学习算法的简洁实现之XGboost.zip
05-12
在机器学习领域，XGBoost（Extreme Gradient Boosting）是一种广泛应用的梯度增强框架，尤其在数据挖掘、预测分析和比赛任务中表现出色。它是由陈天奇等人开发的高效、灵活且便携的库，支持多种编程语言，包括Python...
机器学习算法-基于机器学习回归算法实现葡萄酒质量预测.zip
05-12
在这个“机器学习算法-基于机器学习回归算法实现葡萄酒质量预测”的项目中，我们将深入探讨如何利用回归算法来预测葡萄酒的质量。葡萄酒质量通常由一系列化学成分和感官评估决定，如酸度、糖分、酒精含量等，这些...
基于机器学习算法的船舶结构强度分析.pdf
09-24
在机器学习算法选择方面，本文比较了四种传统机器学习算法（Linear Regression、Decision Tree、Random Forest、Support Vector Machine）和四种集成机器学习算法（Gradient Boosting Machine、AdaBoost、Random ...
机器学习10大经典算法
08-29
本文将深入探讨“机器学习10大经典算法”，帮助你理解和运用这些强大的学习模型。 1. **线性回归**：线性回归是最基础的预测模型之一，用于建立输入变量（自变量）与输出变量（因变量）之间的线性关系。它通过最小...
机器学习算法概述.docx
11-29
Boosting是一种迭代算法，它通过调整训练数据的权重使得弱学习算法逐步提升其性能，最终组合成强学习器。 EM（期望最大化）算法常用于混合高斯模型和其他概率模型的参数估计，通过迭代地调整期望（E步）和极大化（M...
年化26.4%，quantlab5.5发布——多任务机器学习组合优化，可视化策略生成向导（代码+数据）
weixin_38175458的博客
08-09 526
三年前，开始认真输出内容，就有了B计划的样子。——现在的生活是你三年前、五年前的模式所决定的，没有办法很快去改变。这个需要想清楚，这条路当然优点非常多，尤其适合内向，不喜欢，也不擅长与人协作、打交道的同学们。有时候不是努力就可以的，它需要一种特质，一点点悟性，还有很多的耐心。你理想中的生活与现实中的生活，之间的差距，就是你要去补足的地方。C计划，大胆一点，疯狂一点，守住底线的基础上勇敢做自己。三年后、五年甚至八年后，你想过上什么样的生活。但三年，五年后的生活，是你当下的模式所决定的。你的C计划是什么呢？
萱仔求职系列——1.1 机器学习基础知识复习
qq_44117805的博客
08-06 1163
任务类型K-means：无监督学习（聚类）。KNN：有监督学习（分类或回归）。输入K-means：只需要数据，不需要标签。KNN：需要带有标签的训练数据。输出K-means：每个样本的簇分配和质心。KNN：新样本的预测标签或值。算法目标K-means：寻找数据的自然簇，最小化簇内的样本到质心的距离。KNN：基于已知样本的标签或值，对新样本进行预测。适用场景K-means：用于发现数据的自然分组或模式，适用于数据探索和预处理。KNN：用于对新样本进行预测，适用于分类和回归任务。
机器学习——逻辑回归（学习笔记）
CXDNW的博客
08-09 737
其本质是由线性回归变化而来的，一种广泛使用于分类问题中的广义回归算法。首先理解线性回归算法：𝜃 被统称为模型的参数，其中 𝜃₀被称为截距（intercept），𝜃₁～𝜃n 被称为系数。这个表达式，和 y=ax＋b 是同样的性质。可以 使用矩阵来表示 这个方程，其中 x 和 𝜃 都可以被看做是一个 列矩阵，则有：线性回归的任务，就是构造一个预测函数 z 来映射输入的特征矩阵 x 和 标签值 y 的线性关系。
零基础学会机器学习，到底要多久？
2301_79335566的博客
08-07 1044
这两天啊，有不少朋友和我说，想学机器学习，但是之前基础，不知道能不能学得会。首先说结论，，但是一定不能三天打鱼两天晒网，要持之以恒，至少每隔两天，必须得看一点。所以呀，我整理了关于机器学习各种内容的资料，跟大家一起看一看，从零基础入门，想要学会深度学习，到底需要多长时间呢？首先声明，没有广告！没有广告！没有广告！接下来呢，咱们就进入正题，要多久能学会，也就是基本掌握机器学习。这里，我们依次来看。
机器学习笔记：编码器与解码器
2301_79335566的博客
08-09 668
在机器翻译中，输入的序列与输出的序列经常是长度不相等的序列，此时，像自然语言处理这种直接使用循环神经网络或是门控循环单元的方法就行不通了。因此，我们引入一个新的结构，称之为“编码器-解码器”（Encoder-Decoder），通过这种结构，来实现输入输出长度不均等的问题。
【机器学习之深度学习】神经元、层的基本概念，神经网络以及神经元与线性回归和逻辑回归的相似之处
m0_49243785的博客
08-09 939
神经元是深度学习模型的基本单元，它模拟人脑中的神经元。在数学上，神经元接收输入，通过权重和偏置进行转换，并应用一个激活函数来产生输出层是由多个神经元组成的集合，它在神经网络中执行特定的变换神经元和层是深度学习模型的核心组成部分，它们共同工作，使得深度学习能够处理复杂的数据和任务已构建了一个非常简单的神经网络已经探索神经元与线性回归和逻辑回归的相似之处
靓图！多点创新！CEEMDAN-Kmeans-VMD-CNN-LSTM-Attention双重分解+卷积长短期+注意力多元时间序列预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
08-09 575
靓图！多点创新！CEEMDAN-Kmeans-VMD-CNN-LSTM-Attention双重分解+卷积长短期+注意力多元时间序列预测
机器学习笔记：门控循环单元的建立
2301_79335566的博客
08-08 285
门控循环单元（Gated Recurrent Unit，简称GRU）是循环神经网络一种较为复杂的构成形式，其用途也是处理时序数据，相比具有单隐藏状态的RNN，GRU具有忘记的能力，可以忘记无用的数据。
Python 机器学习求解 PDE 学习项目 基础知识（3）matplotlib 画函数热图
qq_39538718的博客
08-09 1098
matplotlib是Python中最广泛使用的绘图库之一。它为用户提供了强大的功能来可视化数据。在PDE的后处理阶段，利用matplotlib绘制热图、曲线图等能够帮助我们直观地观察到解的分布和变化趋势，从而进一步分析物理现象。
【机器学习之深度学习】深度学习和机器学习的关系以及深度学习的应用场景
m0_49243785的博客
08-09 796
深度学习和机器学习是人工智能领域的两个重要分支，它们之间既有联系也有区别
【机器学习】反向传播算法的直观解释、微积分原理以及反向传播中的链式法则
最新发布
m0_49243785的博客
08-12 605
通过这种方式，反向传播算法能够计算出损失函数对每个权重的梯度，然后我们可以使用这些梯度来更新权重，以减少损失函数的值。这个过程不断重复，直到网络性能达到一个满意的水平。通过这种方式，反向传播算法能够有效地计算出损失函数对网络中每个参数的梯度，从而允许我们使用梯度下降或其他优化算法来训练神经网络。链式法则是实现这一过程的关键数学工具。
【机器学习基础】线性回归
Morse_Chen的博客
08-09 1247
本文讲解了线性回归问题和求解方法。线性回归是机器学习中最基础的参数化学习模型，线性回归任务是机器学习中最基础的有监督学习任务。讨论了求解线性回归问题的不同方法和预测误差，并在房屋售价数据集上进行了实践。
集成学习：融合多个模型
2301_76697053的博客
08-07 1027
提高准确性：集成算法通过结合多个模型的预测，通常能够提供比单个模型更高的准确性。增强鲁棒性：集成算法减少了模型对异常值和噪声的敏感性，提高了模型的泛化能力。减少过拟合：通过多样化的模型组合，集成算法降低了过拟合的风险。T_k%28x%29。
Gradient Boosting
chengbin20101的博客
08-10 701
Gradient Boosting，即梯度提升算法，是一种集成学习方法，它通过迭代地训练弱学习器（如决策树）来构建一个强学习器，以提高预测性能。Gradient Boosting算法借鉴了梯度下降法的思想，其基本原理是根据当前模型损失函数的负梯度信息来训练新加入的弱学习器，然后将训练好的弱学习器以累加的形式结合到现有模型中。可解释性：相比于一些黑盒模型，Gradient Boosting相对容易解释和理解，可以通过查看每个弱学习器的权重和特征重要性来了解模型的决策过程。学习率一般取小于1的正数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值