机器学习模型融合案例

最新推荐文章于 2024-01-18 21:09:40 发布

余余余2020

最新推荐文章于 2024-01-18 21:09:40 发布

阅读量407

点赞数

文章标签： sklearn 机器学习集成学习

本文链接：https://blog.csdn.net/weixin_52561314/article/details/124480003

版权

本文详细介绍了集成学习中的Bagging、Random Forest、Adaboost、Gradient Boosting和Voting、Stacking等方法，通过实例展示了如何在sklearn中应用这些技术，以提升模型的预测性能。

摘要由CSDN通过智能技术生成

本文根据一篇机器模型融合案例，对每类方法进行了尝试运用。

一、集成学习介绍

集成学习结合多个不同的模型，然后结合单个模型完成预测。通常情况下，集成学习能比单个模型找到更好的性能。

常见的集成学习技术有三类：

Bagging, 如. Bagged Decision Trees and Random Forest.
Boosting, 如. Adaboost and Gradient Boosting
Stacking, 如. Voting and using a meta-model.
使用集成学习可以减少预测结果的方差，同时也比单个模型更好的性能。

二、具体各类技术实践

1、Bagging

Bagging通过采样训练数据集的样本，训练得到多样的模型，进而得到多样的预测结果。在结合模型的预测结果时，可以对单个模型预测结果进行投票或平均。

Bagging的关键是对数据集的采样方法。常见的方式可以从行（样本）维度进行采样，这里进行的是有放回采样。

Bagging可通过 BaggingClassifier 和 BaggingRegressor 使用，默认情况下它们使用决策树作为基本模型，可以通过n_estimators参数指定要创建的树的数量。

#使用自带数据集
from sklearn.datasets import load_iris
data = load_iris()
x = data.data
y = data.target

from sklearn.model_selection import cross_val_score
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.ensemble import BaggingClassifier
import numpy as np

# 创建bagging模型
model = BaggingClassifier(n_estimators=50)

# 设置验证集数据划分方式
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)

# 验证模型精度
n_scores = cross_val_score(model, x, y, scoring='accuracy', cv=cv, n_jobs=-1)

# 打印模型的精度
print('Mean Accuracy: %.3f (%.3f)' % (np.mean(n_scores), np.std(n_sco