机器学习——集成学习

已于 2023-06-25 20:17:40 修改
阅读量80 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 集成学习 人工智能
于 2023-06-13 21:01:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40527560/article/details/131166472
版权

目录

集成学习

在这里插入图片描述

通过建立几个模型来解决单一预测问题
工作原理：生成多个分类器/模型，各自独立地学习和作出预测。这些预测最好结合成组合预测，因此优于任何一个单分类的做出预测

在这里插入图片描述

Bagging和随机森林

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众树而定

随机森林=Bagging+决策树
在这里插入图片描述

sklearn.ensemble.RandomForestClassifier(n_estimators=10,criterion='gini',max_depth=None,bootstrap=True,random_state=None,min_samples_split=2)

在这里插入图片描述
在这里插入图片描述

#实例化一个随机森林
from sklearn.ensemble import RandomForestClassifier
rf=RandomForestClassifier()

#通过超参数调优
from sklearn.model_selection import GridSearchCV

param={'n_estimators':[100,120,300],'max_depth':[3,7,11]}
gc=GridSearchCV(rf,param_grid=param,cv=3)

gc.fit(x_train,y_train)

print("随机森林预测结果是:\n", gc.score(x_test, y_test))

随机森林预测结果是:
0.779467680608365

在这里插入图片描述

包外估计
在随机森林构造过程中，如果进行有放回的抽样，我们会发现，总有一部分样本是我们选不到的
没有选择到的数据，称为out-of-bag(OOB)数据，总有36.8%的数据抽不到

经验证，包外估计是对集成分类器泛化误差的无偏估计
无偏估计：所有样本出现的概率一样

用途：当基学习器是决策树时，可以使用包外样本来辅助剪枝

随机森林案例

对电子商务的品种进行分类

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
data=pd.read_csv('./data1/otto/train.csv')

# 图形可视化,查看数据分布
import seaborn as sns
sns.countplot(x=data.target)
plt.show()

在这里插入图片描述
由上图可以看出,该数据类别不均衡,所以需要后期处理

#截取部分数据
new1_data = data[:10000]
# 图形可视化,查看数据分布
import seaborn as sns
sns.countplot(new1_data.target)
plt.show()

在这里插入图片描述
使用上面方式获取数据不可行,然后使用随机欠采样获取响应的数据

# 随机欠采样获取数据
# 首先需要确定特征值/标签值

y = data["target"]
x = data.drop(["id", "target"], axis=1)

# 欠采样获取数据
from imblearn.under_sampling import RandomUnderSampler

rus = RandomUnderSampler(random_state=0)

X_resampled, y_resampled = rus.fit_resample(x, y)

# 图形可视化,查看数据分布
import seaborn as sns
sns.countplot(x=y_resampled)
plt.show()

在这里插入图片描述

#把标签值转换为数字
from sklearn.preprocessing import LabelEncoder

le = LabelEncoder()
y_resampled = le.fit_transform(y_resampled)

array([0, 0, 0, …, 8, 8, 8])

#分割数据
from sklearn.model_selection import train_test_split

x_train, x_test, y_train, y_test = train_test_split(X_resampled, y_resampled, test_size=0.2)

#基本模型训练
from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(oob_score=True) #是否使用袋外数据来估计模型的有效性
rf.fit(x_train, y_train)
rf.oob_score_

0.7596486175115207

#logloss使用过程中,必须要求将输出用one-hot表示
#需要将这个多类别问题的输出结果通过OneHotEncoder修改
from sklearn.preprocessing import OneHotEncoder

one_hot = OneHotEncoder(sparse=False)

y_test1 = one_hot.fit_transform(y_test.reshape(-1, 1))
y_pre1 = one_hot.fit_transform(y_pre.reshape(-1, 1))

# logloss模型评估
from sklearn.metrics import log_loss

log_loss(y_test1, y_pre1, eps=1e-15, normalize=True)

7.737163269576891

# 改变预测值的输出模式,让输出结果为百分占比,降低logloss值
y_pre_proba = rf.predict_proba(x_test)
y_pre_proba

在这里插入图片描述

# logloss模型评估

log_loss(y_test1, y_pre_proba, eps=1e-15, normalize=True)

0.7316244385161541

模型调优

# 确定n_estimators的取值范围
tuned_parameters = range(10, 200, 10)

# 创建添加accuracy的一个numpy
accuracy_t = np.zeros(len(tuned_parameters))

# 创建添加error的一个numpy
error_t = np.zeros(len(tuned_parameters))

# 调优过程实现
for j, one_parameter in enumerate(tuned_parameters):
    rf2 = RandomForestClassifier(n_estimators=one_parameter, 
                                 max_depth=10, 
                                 max_features=10, 
                                 min_samples_leaf=10, 
                                 oob_score=True, 
                                 random_state=0, 
                                 n_jobs=-1) #n_job是让电脑满负荷跑起来
    
    rf2.fit(x_train, y_train)
    
    # 输出accuracy
    accuracy_t[j] = rf2.oob_score_
    
    # 输出log_loss
    y_pre = rf2.predict_proba(x_test)
    error_t[j] = log_loss(y_test, y_pre, eps=1e-15, normalize=True)
    
    print(error_t)


# 优化结果过程可视化
fig,axes = plt.subplots(nrows=1, ncols=2, figsize=(20, 4), dpi=100)

axes[0].plot(tuned_parameters, error_t)
axes[1].plot(tuned_parameters, accuracy_t)

axes[0].set_xlabel("n_estimators")
axes[0].set_ylabel("error_t")
axes[1].set_xlabel("n_estimators")
axes[1].set_ylabel("accuracy_t")

axes[0].grid(True)
axes[1].grid(True)


plt.show()

在这里插入图片描述

# 确定max_features的取值范围
tuned_parameters = range(5, 40, 5)

# 创建添加accuracy的一个numpy
accuracy_t = np.zeros(len(tuned_parameters))

# 创建添加error的一个numpy
error_t = np.zeros(len(tuned_parameters))

# 调优过程实现
for j, one_parameter in enumerate(tuned_parameters):
    rf2 = RandomForestClassifier(n_estimators=175, 
                                 max_depth=10, 
                                 max_features=one_parameter, 
                                 min_samples_leaf=10, 
                                 oob_score=True, 
                                 random_state=0, 
                                 n_jobs=-1)
    
    rf2.fit(x_train, y_train)
    
    # 输出accuracy
    accuracy_t[j] = rf2.oob_score_
    
    # 输出log_loss
    y_pre = rf2.predict_proba(x_test)
    error_t[j] = log_loss(y_test, y_pre, eps=1e-15, normalize=True)
    
    print(error_t)


# 优化结果过程可视化
fig,axes = plt.subplots(nrows=1, ncols=2, figsize=(20, 4), dpi=100)

axes[0].plot(tuned_parameters, error_t)
axes[1].plot(tuned_parameters, accuracy_t)

axes[0].set_xlabel("max_features")
axes[0].set_ylabel("error_t")
axes[1].set_xlabel("max_features")
axes[1].set_ylabel("accuracy_t")

axes[0].grid(True)
axes[1].grid(True)


plt.show()

在这里插入图片描述

# 确定max_depth的取值范围
tuned_parameters = range(10, 100, 10)

# 创建添加accuracy的一个numpy
accuracy_t = np.zeros(len(tuned_parameters))

# 创建添加error的一个numpy
error_t = np.zeros(len(tuned_parameters))

# 调优过程实现
for j, one_parameter in enumerate(tuned_parameters):
    rf2 = RandomForestClassifier(n_estimators=175, 
                                 max_depth=one_parameter, 
                                 max_features=15, 
                                 min_samples_leaf=10, 
                                 oob_score=True, 
                                 random_state=0, 
                                 n_jobs=-1)
    
    rf2.fit(x_train, y_train)
    
    # 输出accuracy
    accuracy_t[j] = rf2.oob_score_
    
    # 输出log_loss
    y_pre = rf2.predict_proba(x_test)
    error_t[j] = log_loss(y_test, y_pre, eps=1e-15, normalize=True)
    
    print(error_t)


# 优化结果过程可视化
fig,axes = plt.subplots(nrows=1, ncols=2, figsize=(20, 4), dpi=100)

axes[0].plot(tuned_parameters, error_t)
axes[1].plot(tuned_parameters, accuracy_t)

axes[0].set_xlabel("max_depth")
axes[0].set_ylabel("error_t")
axes[1].set_xlabel("max_depth")
axes[1].set_ylabel("accuracy_t")

axes[0].grid(True)
axes[1].grid(True)


plt.show()

在这里插入图片描述

# 确定min_sample_leaf的取值范围
tuned_parameters = range(1, 10, 2)

# 创建添加accuracy的一个numpy
accuracy_t = np.zeros(len(tuned_parameters))

# 创建添加error的一个numpy
error_t = np.zeros(len(tuned_parameters))

# 调优过程实现
for j, one_parameter in enumerate(tuned_parameters):
    rf2 = RandomForestClassifier(n_estimators=175, 
                                 max_depth=30, 
                                 max_features=15, 
                                 min_samples_leaf=one_parameter, 
                                 oob_score=True, 
                                 random_state=0, 
                                 n_jobs=-1)
    
    rf2.fit(x_train, y_train)
    
    # 输出accuracy
    accuracy_t[j] = rf2.oob_score_
    
    # 输出log_loss
    y_pre = rf2.predict_proba(x_test)
    error_t[j] = log_loss(y_test, y_pre, eps=1e-15, normalize=True)
    
    print(error_t)


# 优化结果过程可视化
fig,axes = plt.subplots(nrows=1, ncols=2, figsize=(20, 4), dpi=100)

axes[0].plot(tuned_parameters, error_t)
axes[1].plot(tuned_parameters, accuracy_t)

axes[0].set_xlabel("min_sample_leaf")
axes[0].set_ylabel("error_t")
axes[1].set_xlabel("min_sample_leaf")
axes[1].set_ylabel("accuracy_t")

axes[0].grid(True)
axes[1].grid(True)


plt.show()

在这里插入图片描述

#确定最优模型
rf3 = RandomForestClassifier(n_estimators=175, max_depth=30, max_features=15, min_samples_leaf=1, 
                             oob_score=True, random_state=40, n_jobs=-1)

rf3.fit(x_train, y_train)

rf3.score(x_test, y_test)

0.7788655341203571

rf3.oob_score_

0.7693692396313364

y_pre_proba1 = rf3.predict_proba(x_test)

log_loss(y_test, y_pre_proba1)

0.7018021583384667

生成提交数据

test_data = pd.read_csv("./data/otto/test.csv")
test_data_drop_id = test_data.drop(["id"], axis=1)
y_pre_test = rf3.predict_proba(test_data_drop_id)
result_data = pd.DataFrame(y_pre_test, columns=["Class_"+str(i) for i in range(1, 10)])
result_data.insert(loc=0, column="id", value=test_data.id)
result_data.to_csv("./data/otto/submission.csv", index=False)

Boosting

每新加入一个弱学习器，整体能力就会得到提升
代表算法：Adaboost,GBDT,XGBoost,LightGBM
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
bagging和boosting的区别
在这里插入图片描述

sklearn.ensemble.AdaBoostClassifier

AdaBoost

基本思想是通过调整样本的权重来关注先前分类错误的样本，从而逐步提升模型的性能
在这里插入图片描述

GBDT

梯度提升树，使用的是CART回归树

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

醋酸洋红就是我
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
机器学习 —— 集成学习
starter_____的博客
02-18 885
集成学习是什么？ 　　目前，有三种常见的集成学习框架：bagging，boosting和stacking。国内，南京大学的周志华教授对集成学习有很深入的研究，其在09年发表的一篇概述性论文《Ensemble Learning》对这三种集成学习框架有了明确的定义，概括如下： bagging： 从训练集从进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果：...
python机器学习库sklearn——集成方法
01-27
【集成方法】集成学习是一种机器学习策略，它结合多个学习算法的预测结果，以期得到比单个模型更优的泛化能力和鲁棒性。在Python的机器学习库scikit-learn（sklearn）中，集成方法是通过一系列工具实现的。 ...
机器学习之集成学习算法
黑马程序员官方博客
12-30 1022
集成学习通过建立几个模型来解决单一预测问题。它的工作原理是生。
机器学习——集成学习综述
hei653779919的博客
03-13 828
机器学习——集成学习综述 1、集成学习概述 1.1 基本概念 集成学习是机器学习中一个非常重要的学习策略。顾名思义，集成学习本身不是一个单独的机器学习算法，而是通过集合多个学习器来组成一个机器学习系统来完成学习任务。集成学习的应用面很广，包括分类问题，回归问题，特征抽取问题等等。 1.2 基本结构 上面我们提到了，集成学习本身是综合了多个学习器的机器学习系统，我们通过训练数据集，分别训练多个学习器...
python机器学习——集成学习（分类）及“泰坦尼克号沉船事故”数据集案例操作
qq_39594033的博客
07-30 2586
集成学习（分类）及具体案例操作一、集成学习（ Ensemble Learning ）算法（1）集成学习简介（2）集成建模中的误差（方差vs偏置）（3）常用的集成学习技术：（4）随机森林（5）梯度提升决策树（Gradient Tree Boosting）二、集成学习具体案例操作（1）导入数据（2）特征选择（3）数据清洗（4）划分训练集测试集（5）特征转换（6）建立模型及性能测试参考文献： 一、集成学习（ Ensemble Learning ）算法 （1）集成学习简介 定义：所谓集成，是指结合不同的学习模块（单
机器学习——集成学习算法（Adaboost、随机森林）
qq_52669357的博客
06-11 5774
Bagging + 决策树 = 随机森林 AdaBoost + 决策树 = boosting
深入理解机器学习——集成学习（Ensemble Learning）：基础知识
热门推荐
冯·诺依曼
11-07 1万+
集成学习 （Ensemble Learning）通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统（ Multi-classifier System）、基于委员会的学习（ Committee-based Learning）等。 上图显示出集成学习的一般结构：先产生一组“个体学习器”），再用某种策略将它们结合起来。个体学习器通常由一个现有的学习算法从训练数据产生，例如C4.5决策树算法、BP神经网络算法等，此时集成中只包含同种类型的个体学习器，例如“决策树集成”中全是决策树，“神经网络集成”中
python机器学习——集成学习之bagging
qq_39594033的博客
08-05 959
集成学习之bagging思路集成学习框架之bagging 思路 集成学习（ Ensemble learning ）是指组合多个模型，以获得更好的效果，使集成的模型具有更强的泛化能力。简单来说，集成学习是一种技术框架，其按照不同的思路来组合基础模型，从而达到其利断金的目的。 对于多个模型，如何组合这些模型，主要有以下几种不同的方法： ① 在测试集上找到表现最好的模型作为最终的预测模型； ② 对多个模型的预测结果进行投票或者取平均值（ Simple Average ）； ③ 对多个模型的预测结果做加权平均（ W
深入理解机器学习——集成学习（Ensemble Learning）：袋装法Bagging
冯·诺依曼
11-07 1万+
我们在《集成学习（一）：基础知识》中提到，欲得到泛化性能强的集成，集成中的个体学习器应尽可能相互独立；虽然“独立”在现实任务中无法做到，但可以设法使基学习器尽可能具有较大的差异。 给定一个训练数据集，一种可能的做法是对训练样本进行采样，产生出若干个不同的子集，再从每个数据子集中训练出一个基学习器。这样，由于训练数据不同，我们获得的基学习器可望具有比较大的差异。然而，为获得好的集成，我们同时还希望个体学习器不能太差。如果采样出的每个子集都完全不同，则每个基学习器只用到了一小部分训练数据，甚至不足以进行有效学习
深入理解机器学习——集成学习（Ensemble Learning）：提升法Boosting与Adaboost算法
冯·诺依曼
11-07 1万+
Boosting是一族可将弱学习器提升为强学习器的算法。这族算法的工作机制类似：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值TTT，最终将这TTT个基学习器进行加权结合。 Boosting族算法最著名的代表是AdaBoost： Adaboost算法 输入： \qquad 训练集：D=(x1,y1),(x2,y2),⋯ ,(xN,yN
机器学习算法——集成方法（Ensemble）之Stacking
01-27
②这些弱分类器是如何组合为一个强分类器学习过机器学习相关基础的童鞋应该知道，集成学习有两大类——以Adaboost为代表的Boosting和以RandomForest为代表的Bagging。它们在集成学习中属于同源集
OpenCV机器学习——支持向量机SVM
01-27
OpenCV中集成了多种机器学习算法供我们方便使用，如果我们要训练数据进行分类，不用自己写分类器，只需要调用相应的库和类即可轻松实现。本文重点不在于介绍机器学习原理及数学推导，着重介绍OpenCV中的机器学习相关...
人工智能与机器学习原理精解【5】
基础数学与应用数学
07-24 1101
下面内容来自文心一言的自动生成特征值分解是一种矩阵分解方法，特别适用于方阵。它能够将一个矩阵分解成特征向量和特征值的线性组合，这在数学、物理、工程及计算机科学等多个领域都有重要应用。以下是对特征值分解的详细说明，包括算法和例子。A=QΛQ−1A = QΛQ^{-1}A=QΛQ−1其中，Q是由A的特征向量构成的矩阵（每列是一个特征向量），Λ是一个对角矩阵，其对角线上的元素是A的特征值。对于实对称矩阵，Q是正交矩阵，即Q的逆等于Q的转置（QTQ^TQT），因此特征值分解可以简化为：A=QΛQTA = QΛQ^T
【机器学习】Jupyter Notebook如何使用之基本步骤和进阶操作
m0_49243785的博客
07-23 711
Jupyter Notebook 是一个交互式计算环境，它允许创建包含代码、文本和可视化内容的文档
决策树 和 集成学习、随机森林
努力学习的大小宝
07-24 641
决策树是非参数学习算法，可以解决分类问题，天然可以解决多分类问题（不同于逻辑回归或者SVM，需要通过OVR，OVO的方法），也可以解决回归问题，甚至是多输出任务，并且决策树有非常好的可解释性。决策树功能强大，能够拟合复杂的数据集。 在线dot转换png https://onlineconvertfree.com/zh/ 对于二分类： H=−p⋅log(p)−(1−p)⋅log(1−p) ...
2024钉钉杯A题思路详解
最新发布
全栈川川
07-26 1799
2024钉钉杯思路
常见的文心一言的指令
知码客
07-25 1622
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
安装TensorRT各自小库版本问题
Ppandaer的博客
07-24 532
降版本：protobuf3.19，onnx 1.12。
集成学习(Ensemble Learning)——从Bagging到Boosting
"该PDF文件主要讲解了集成学习(Ensemble Learning)的概念、动机和一些典型算法，包括bagging、Boosting以及它们的特定实现——随机森林(Random Forest)和AdaBoost。集成学习通过结合多个模型来提升单一模型的性能，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

醋酸洋红就是我

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值