【集成学习】Stacking方法

最新推荐文章于 2025-03-11 13:50:39 发布
最新推荐文章于 2025-03-11 13:50:39 发布
阅读量1.4k 收藏 28
点赞数 17
分类专栏： 哈佛博后带你玩转机器学习 文章标签： 集成学习 机器学习 人工智能 Stacking方法 Stacking方法集成学习 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l35633/article/details/145868149
版权
4. Stacking方法

Stacking（堆叠泛化）是一种通过将多个基学习器的输出作为新的特征输入到第二层模型（通常是一个更强大的模型）中，来进一步优化模型预测的方法。与传统的Bagging或Boosting不同，Stacking方法通过组合多个不同类型的学习器来增加模型的多样性，并通过第二层模型（通常是一个元学习器）来学习如何有效地组合这些基学习器的预测结果。

Stacking方法的核心思想是将多个基学习器的输出作为新特征传递给一个高阶模型，从而通过高阶模型来优化组合方式。

在本节中，我们将展示5个实际应用案例，其中涵盖了回归问题和分类问题，这些案例均使用Stacking方法解决实际问题。每个案例都有实际的应用场景、算法步骤和Python代码实现，以帮助理解Stacking方法的应用价值和实现过程。

好的，以下是5个新的应用案例，每个案例展示了Stacking方法在实际应用中的使用，包括回归问题和分类问题。这些案例涵盖了多个不同的应用场景，每个案例都有详细的描述和完整的代码实现。

案例1：医疗数据预测（回归问题）

案例描述：

在医疗领域，患者的体征数据（如血糖、血压等）经常用于预测其健康状况。我们使用Stacking方法，通过集成多个回归模型来预测患者的血糖水平，帮助医生更好地制定治疗方案。

案例分析：

我们将使用多个回归模型（如随机森林回归、支持向量机回归、K近邻回归）来预测患者的血糖水平。Stacking方法通过组合这些模型的预测结果，能够提高模型的稳定性和准确性。

算法步骤：
  1. 加载并预处理医疗数据（模拟血糖数据）。
  2. 使用多个回归模型进行训练。
  3. 使用Stacking方法将多个回归模型的输出作为新特征输入到元模型（线性回归）。
  4. 评估集成模型的性能。
Python代码：
# 导入所需的库
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor, StackingRegressor
from sklearn.svm import SVR
from sklearn.neighbors import KNeighborsRegressor
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# 生成模拟的医疗数据
np.random.seed(42)
X = np.random.rand(1000, 10)  # 模拟10个特征
y = 50 + 30 * X[:, 0] + 20 * X[:, 1] + np.random.randn(1000)  # 模拟血糖水平

# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 定义基学习器
estimators = [
    ('rf', RandomForestRegressor(n_estimators=50, random_state=42)),
    ('svm', SVR()),
    ('knn', KNeighborsRegressor())
]

# 定义元学习器（通常使用线性回归）
stacking_regressor = StackingRegressor(estimators=estimators, final_estimator=LinearRegression())

# 训练Stacking模型
stacking_regressor.fit(X_train, y_train)

# 预测
y_pred = stacking_regressor.predict(X_test)

# 评估模型性能
mse = mean_squared_error(y_test, y_pred)
print(f"集成回归模型的均方误差: {mse:.4f}")
算法原理解释：

在此回归问题中，我们使用了多个回归模型（随机森林回归、SVM回归、K近邻回归），并通过Stacking方法将这些模型的输出作为新特征传递给线性回归模型。最终，线性回归模型将根据多个基学习器的预测结果进行优化，从而提高血糖预测的准确性。

案例2：广告点击率预测（分类问题）

案例描述：

在广告系统中，预测广告的点击率（CTR）是提升广告投放效率的关键。我们使用Stacking方法来集成多个分类模型，预测用户是否点击广告。

案例分析：

通过Stacking方法集成多个分类模型（如逻辑回归、决策树、K近邻分类器），我们可以结合每个模型的优势，提高广告点击率预测的准确性。

算法步骤：
  1. 加载并预处理广告点击数据。
  2. 使用多个分类模型进行训练。
  3. 使用Stacking方法将多个分类模型的输出作为新特征输入到元模型（如逻辑回归）。
  4. 评估集成模型的性能。
Python代码：
# 导入所需的库
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.ensemble import StackingClassifier
from sklearn.metrics import accuracy_score
from sklearn.datasets import make_classification

# 生成模拟的广告点击数据集
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)

# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 定义基学习器
estimators = [
    ('logreg', LogisticRegression(max_iter=1000)),
    ('dt', DecisionTreeClassifier(random_state=42)),
    ('knn', KNeighborsClassifier())
]

# 定义元学习器（通常使用逻辑回归）
stacking_classifier = StackingClassifier(estimators=estimators, final_estimator=LogisticRegression())

# 训练Stacking模型
stacking_classifier.fit(X_train, y_train)

# 预测
y_pred = stacking_classifier.predict(X_test)

# 评估模型性能
accuracy = accuracy_score(y_test, y_pred)
print(f"集成分类模型的准确率: {accuracy:.4f}")
算法原理解释：

在广告点击率预测任务中，我们使用了逻辑回归、决策树和K近邻作为基学习器。Stacking方法将这些基学习器的预测结果作为特征传递给一个简单的逻辑回归模型，逻辑回归模型学习如何组合这些结果，从而提高预测准确性。

案例3：房屋销售价格预测（回归问题）

案例描述：

房屋销售价格预测是房地产领域的一个常见回归问题，目标是根据房子的特征（如面积、卧室数量、地理位置等）来预测房屋的售价。

案例分析：

通过Stacking方法集成多个回归模型（如XGBoost回归、随机森林回归、线性回归），可以有效提高房屋销售价格预测的精度。

算法步骤：
  1. 加载并预处理房屋销售数据。
  2. 使用多个回归模型进行训练。
  3. 使用Stacking方法将多个回归模型的输出作为新特征输入到元回归模型（如XGBoost）。
  4. 评估集成模型的性能。
Python代码：
# 导入所需的库
import xgboost as xgb
from sklearn.ensemble import RandomForestRegressor
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import StackingRegressor
from sklearn.metrics import mean_squared_error
from sklearn.datasets import make_regression

# 生成模拟的房屋销售数据
X, y = make_regression(n_samples=1000, n_features=10, noise=0.1, random_state=42)

# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 定义基学习器
estimators = [
    ('rf', RandomForestRegressor(n_estimators=50, random_state=42)),
    ('xgb', xgb.XGBRegressor(objective='reg:squarederror', random_state=42)),
    ('lr', LinearRegression())
]

# 定义元学习器（通常使用XGBoost）
stacking_regressor = StackingRegressor(estimators=estimators, final_estimator=xgb.XGBRegressor(objective='reg:squarederror'))

# 训练Stacking模型
stacking_regressor.fit(X_train, y_train)

# 预测
y_pred = stacking_regressor.predict(X_test)

# 评估模型性能
mse = mean_squared_error(y_test, y_pred)
print(f"集成回归模型的均方误差: {mse:.4f}")
算法原理解释：

在房屋价格预测问题中，我们使用了XGBoost回归、随机森林回归和线性回归作为基学习器，并通过Stacking方法将这些模型的预测结果传递给元回归模型（XGBoost）。该模型根据多个基学习器的输出进行预测，能够更准确地估计房屋的销售价格。

案例4：信用风险评分（分类问题）

案例描述：

信用评分是银行用于评估贷款申请人信用风险的关键。Stacking方法能够结合多个模型的预测结果，提高信用评分模型的准确性。

案例分析：

Stacking通过结合多个分类模型（如随机森林、逻辑回归和SVM），将各模型的优势结合起来，从而提升信用评分的准确性。

算法步骤：
  1. 加载并预处理信用风险数据。
  2. 使用多个分类模型进行训练。
  3. 使用Stacking方法将多个分类模型的输出作为新特征输入到元分类模型（如随机森林）。
  4. 评估集成模型的性能。
Python代码：
# 导入所需的库
from sklearn.ensemble import RandomForestClassifier, StackingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.metrics import classification_report
from sklearn.datasets import make_classification

# 生成模拟的信用风险数据集
X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)

# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 定义基学习器
estimators = [
    ('rf', RandomForestClassifier(n_estimators=50, random_state=42)),
    ('logreg', LogisticRegression(max_iter=1000)),
    ('svc', SVC(probability=True))
]

# 定义元学习器（通常使用随机森林）
stacking_classifier = StackingClassifier(estimators=estimators, final_estimator=RandomForestClassifier())

# 训练Stacking模型
stacking_classifier.fit(X_train, y_train)

# 预测
y_pred = stacking_classifier.predict(X_test)

# 评估模型性能
print(classification_report(y_test, y_pred))
算法原理解释：

在信用风险评分任务中，我们使用了随机森林、逻辑回归和支持向量机作为基学习器，并通过Stacking方法将这些基学习器的输出作为特征输入到一个随机森林分类器（元学习器）。最终的模型根据多个基学习器的输出进行优化，从而提高信用评分预测的准确性。

案例5：股票价格波动预测（回归问题）

案例描述：

股票价格预测是金融领域中的经典回归问题。通过预测未来某只股票的价格波动，投资者可以作出更好的投资决策。我们通过Stacking方法集成多个回归模型，提高预测准确性。

算法步骤：
  1. 加载并预处理股票价格数据。
  2. 使用多个回归模型进行训练。
  3. 使用Stacking方法将多个回归模型的输出作为新特征输入到元回归模型（如XGBoost）。
  4. 评估集成模型的性能。
Python代码：
# 导入所需的库
from sklearn.ensemble import StackingRegressor
from sklearn.linear_model import LinearRegression
from sklearn.svm import SVR
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error
from sklearn.datasets import make_regression

# 生成模拟的股票价格波动数据集
X, y = make_regression(n_samples=1000, n_features=10, noise=0.1, random_state=42)

# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 定义基学习器
estimators = [
    ('lr', LinearRegression()),
    ('svr', SVR()),
    ('rf', RandomForestRegressor(n_estimators=50, random_state=42))
]

# 定义元学习器（通常使用XGBoost）
stacking_regressor = StackingRegressor(estimators=estimators, final_estimator=XGBRegressor(objective='reg:squarederror'))

# 训练Stacking模型
stacking_regressor.fit(X_train, y_train)

# 预测
y_pred = stacking_regressor.predict(X_test)

# 评估模型性能
mse = mean_squared_error(y_test, y_pred)
print(f"集成回归模型的均方误差: {mse:.4f}")
算法原理解释：

在股票价格波动预测中，我们使用了线性回归、支持向量回归和随机森林回归作为基学习器。Stacking方法通过将多个回归模型的输出作为特征输入到XGBoost回归模型中，从而优化预测结果并提高预测精度。

总结

在本节中，我们通过5个不同的实际案例展示了Stacking方法的强大应用，涵盖了回归和分类问题。无论是在医疗数据预测、广告点击率预测，还是股票价格波动预测等领域，Stacking都能有效提升模型的准确性和泛化能力。通过将多个基学习器的输出组合，Stacking方法能够充分利用不同模型的优势，提升整体预测性能。

【哈佛博后带小白玩转机器学习】 哔哩哔哩_bilibili

总课时超400+，时长75+小时

集成学习-Stacking算法
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-13 2705
Stacking（堆叠） Stacking 的基本思想 将个体学习器结合在一起的时候使用的方法叫做结合策略。对于分类问题，我们可以使用投票法来选择输出最多的类。对于回归问题，我们可以将分类器输出的结果求平均值。 上面说的投票法和平均法都是很有效的结合策略，还有一种结合策略是使用另外一个机器学习算法来将个体机器学习器的结果结合在一起，这个方法就是Stacking。 在stacking方法中，我们把个体学习器叫做初级学习器，用于结合的学习器叫做次级学习器或元学习器（meta-learner）...
集成学习之Stacking
Xiao_Spring的博客
05-14 2667
一、Stacking思想和主要步骤 Stacking可以理解成升级版的Blending，关键在于它使用了“Cross-validation”对训练集进行处理。 首先我们会得到两组数据：训练集和测试集。将训练集分成5份：train1,train2,train3,train4,train5。 选定基模型。这里假定我们选择了xgboost, lightgbm 和 randomforest 这三种作为基模型。比如xgboost模型部分：依次用train1,train2,train3,train4,train
stacking集成模型预测回归问题
墨柳烟的博客
06-28 6850
关于各种集成模型，已经有很多文章做了详细的原理介绍。本文不再赘述stacking的原理，直接通过一个案例，使用stacking集成模型预测回归问题。 本文通过学习一篇stacking继承学习预测分类问题，对其代码进行了调整，以解决回归问题。使用KFold进行交叉验证 stacking基模型包含4种（GBDT、ET、RF、ADA） 元模型为LinearRegression 回归模型评价指标为r2_score 关于为何使用KFold，这篇文章提到： KFlod 适用于用户回归类型数据划分 stratifiedK
集成学习之模型融合（一）Stacking
Ricardo的博客
09-11 3369
集成学习Stacking（模型融合） 简介 ​ 在数据竞赛中有这一种方法，它是一个强有力的武器，只要能够善于使用，它就是无往不利，无坚不摧的那把利剑，更是被称为数据竞赛胜出的杀手锏。它通过构建并结合多个弱学习器组合形成一个强大的学习器来完成学习任务，俗称为模型融合，其实他采用的就是集成学习的思路。 ​ 接下来就先介绍模型融合（集成学习）中的其中一个方法stack。 基本思路 1、划分数据集 ​ 我...
【多层堆叠集成模型（Stacking Ensemble）详解】
专注技术的博主
03-11 1011
堆叠集成（Stacking，简称Stacking）是一种通过训练多个不同的基学习器（Base Learners），然后再将这些基学习器的预测结果作为新特征，交给一个新的学习器（称为元学习器，Meta Learner）进行训练的集成方法。堆叠集成可以看作是一个层叠结构，其中每一层包含一个或多个模型。
【Python】 Stacking: 强大的集成学习方法
哈哈哈哈哈哈哈
06-16 984
Stacking，也称为堆叠泛化（Stacked Generalization），是一种集成学习技术。它通过训练多个基模型，并将这些基模型的输出作为新的输入，训练一个更高级的模型（称为元模型或元学习器），来进行最终的预测。Stacking 是一种强大的集成学习方法，通过结合多个基模型的预测结果，可以显著提高模型的预测性能和稳健性。尽管实现和调优 Stacking 模型需要一定的技巧，但其带来的性能提升和泛化能力增强，使得它在许多机器学习任务中得到了广泛应用。
【机器学习】集成学习之Stacking（堆叠泛化）
ueke1的博客
03-31 2万+
Stacking(有时候也称之为stacked generalization，堆叠泛化)是指训练一个模型用于组合 (combine)其他各个模型。即首先我们先训练多个不同的模型，然后再以之前训练的各个模型的输出为输入来训练一个模型，以得到一个最终的输出。如果可以选用任意一个组合算法，那么理论上，Stacking可以表示前面提到的各种Ensemble方法。然而，实际中，我们通常使用单层logistic回归作为组合模型。
集成学习之Stacking（堆栈）方法
Iron_lyk Blog
06-14 1万+
集成学习是监督式学习的一种。主流的方法有Bagging、Boosting和Stacking。本文主要对Stacking进行讲解分析。Bagging是采取投票或平均的方式来处理N个基模型的输出，而Stacking方法是训练一个模型用于组合之前的基模型。具体过程是将之前训练基模型的输出构造为一个训练集，以此作为输入来训练一个模型，以获得最终的输出。...
集成学习总结 & Stacking方法详解
热门推荐
willduan的博客
07-21 7万+
集成学习主要分为 bagging， boosting 和 stacking方法。本文主要是介绍stacking方法及其应用。但是在总结之前还是先回顾一下继承学习。 这部分主要转自知乎。 1. Bagging方法：   给定一个大小为n的训练集 D，Bagging算法从中均匀、有放回地选出 m个大小为 n' 的子集Di，作为新的训练集。在这 m个训练集上使用分类、回归等算法，则可得到 m个模...
集成学习-Stacking
frogbar的博客
03-12 1320
转自  https://rasbt.github.io/mlxtend/user_guide/classifier/StackingClassifier/   (英文版)(感觉是原创)(推荐)http://blog.csdn.net/willduan1/article/details/73618677  (中文版)StackingClassifierAn ensemble-learning met...
集成学习总结&Stacking方法详解
01-27
本文来自于csdn，文章主要介绍了集成学习的几种方法和其相应的应用等相关内容 。集成学习主要分为bagging，boosting和stacking方法。本文主要是介绍stacking方法及其应用。但是在总结之前还是先回顾一下继承学习。这部分主要转自网络。 给定一个大小为n的训练集D，Bagging算法从中均匀、有放回地选出m个大小为n'的子集Di，作为新的训练集。在这
机器学习算法——集成方法（Ensemble）之Stacking
02-24
集成方法是指由多个弱分类器模型组成的整体模型，我们需要研究的是：①弱分类器模型的形式②这些弱分类器是如何组合为一个强分类器学习过机器学习相关基础的童鞋应该知道，集成学习有两大类——以Adaboost为代表的...
集成学习-stacking
csdn_lzw的博客
05-03 466
参考文献：https://blog.csdn.net/Mr_tyting/article/details/72957853 stacking具体的算法流程 以上图为例，我们现在有训练集train_x，train_y,测试集test ① 我们首先选择一种模型比如随机森林rf。（未经训练） ②这里假设把训练集均分成5份，把其中四份作为小的训练集s_train_x,s_train_y另外一份...
Stacking集成学习
最新发布
03-15
### Stacking集成学习原理 Stacking是一种高级的集成学习方法，其核心思想在于通过多个基础模型（Base Models）对数据进行预测，并利用另一个称为元模型（Meta Model）的学习器来整合这些基础模型的输出结果。这种方法能够有效提升整体模型的表现能力[^1]。 具体而言，在Stacking中，基础模型通常由不同的算法构成，例如决策树、支持向量机或神经网络等。每个基础模型会独立地基于训练集生成预测值。随后，这些预测值被用作输入特征传递给元模型，从而完成最终的预测任务[^2]。 为了防止过拟合并提高泛化性能，Stacking常采用交叉验证的方式生成用于元模型训练的数据。即对于每一份测试折叠部分的基础模型预测结果会被收集起来作为新的特征集合，供后续元模型使用[^3]。 ### 实现方法 以下是基于Python的一个典型Stacking实现流程： #### 1. 数据准备与划分 首先需要准备好原始数据集，并将其划分为训练集和验证集以便于构建多层模型结构。 ```python from sklearn.model_selection import KFold, train_test_split X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42) kf = KFold(n_splits=5, shuffle=True, random_state=42) ``` #### 2. 基础模型定义 选择若干种不同类型的分类或者回归模型作为底层估计器。 ```python base_models = [ ('rf', RandomForestClassifier()), ('gbm', GradientBoostingClassifier()) ] ``` #### 3. 利用K折交叉验证生成元特征 通过对每一折内的子集应用上述选定好的基础模型来进行预测操作，进而获得相应的伪标签矩阵形式表示的新特征空间。 ```python meta_features = np.zeros((len(X_train), len(base_models))) for i, (name, model) in enumerate(base_models): oof_preds = cross_val_predict(model, X_train, y_train, cv=kf, method='predict_proba') meta_features[:,i] = oof_preds.argmax(axis=-1) ``` #### 4. 训练元模型 最后一步就是把之前构造出来的增强版特征送入到顶层分类器当中去进一步优化整个系统的准确性指标表现情况。 ```python meta_model = LogisticRegression() meta_model.fit(meta_features, y_train) ``` ### 应用场景 Stacking广泛应用于各类复杂的监督学习问题之中，尤其是在那些单一模型难以取得理想效果的情况下显得尤为重要。比如金融风险评估中的信用评分卡建立过程；医疗健康领域疾病诊断辅助工具开发阶段等等均可以见到它的身影出现其中发挥重要作用[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值