day5-投票法与Bagging（相关案例代码理解分享）

最新推荐文章于 2024-07-22 09:16:52 发布

苏晨星

最新推荐文章于 2024-07-22 09:16:52 发布

阅读量499

点赞数

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/wangzhouf/article/details/119861486

版权

机器学习专栏收录该内容

10 篇文章 2 订阅

订阅专栏

day5-投票法与Bagging（相关案例代码理解分享）

心得体会

开源学习组织datawhale的组队学习第四天，学习了投票法与bagging，也了解了随机森林算法，实践了相关模型的基础调用代码，对所有的代码都加了自己的注释与理解，完成了布置的作业任务完，初步领略到机器学习的魅力，在这里感谢datawhale开源社区的小伙伴们给予的学习帮助，今后的学习也要一样加油呀

提示：以下是本篇文章正文内容，下面案例以及设计到的知识点均为datawhale开源组织提供

一、投票法

投票法是集成学习中常用的技巧，可以帮助我们提高模型的泛化能力，减少模型的错误率。一般情况下，错误总是发生在局部，因此融合多个数据是降低误差的一个好方法，这就是投票法的基本思路。

对于回归模型来说，投票法最终的预测结果是多个其他回归模型预测结果的平均值。
对于分类模型，硬投票法的预测结果是多个模型预测结果中出现次数最多的类别，软投票对各类预测结果的概率进行求和，最终选取概率之和最大的类标签。

1、投票法的原理

投票法是一种遵循少数服从多数原则的集成学习模型，通过多个模型的集成降低方差，从而提高模型的鲁棒性。在理想情况下，投票法的预测效果应当优于任何一个基模型的预测效果。

投票法在回归模型与分类模型上均可使用：

回归投票法：预测结果是所有模型预测结果的平均值。
分类投票法：预测结果是所有模型中出现最多的预测结果。

分类投票法又可以被划分为硬投票与软投票：

硬投票：预测结果是所有投票结果最多出现的类。
软投票：预测结果是所有投票结果中概率加和最大的类

相对于硬投票，软投票法考虑到了预测概率这一额外的信息，因此可以得出比硬投票法更加准确的预测结果。

在投票法中，我们还需要考虑到不同的基模型可能产生的影响。理论上，基模型可以是任何已被训练好的模型。但在实际应用上，想要投票法产生较好的结果，需要满足两个条件：

基模型之间的效果不能差别过大。当某个基模型相对于其他基模型效果过差时，该模型很可能成为噪声。
基模型之间应该有较小的同质性。例如在基模型预测效果近似的情况下，基于树模型与线性模型的投票，往往优于两个树模型或两个线性模型。

当投票合集中使用的模型能预测出清晰的类别标签时，适合使用硬投票。当投票集合中使用的模型能预测类别的概率时，适合使用软投票。软投票同样可以用于那些本身并不预测类成员概率的模型，只要他们可以输出类似于概率的预测分数值（例如支持向量机、k-最近邻和决策树）。

投票法的局限性在于，它对所有模型的处理是一样的，这意味着所有模型对预测的贡献是一样的。如果一些模型在某些情况下很好，而在其他情况下很差，这是使用投票法时需要考虑到的一个问题。

import numpy as np
import pandas as pd

import seaborn as sns

2、投票法的案例分析

基于sklearn，介绍pipe管道的使用以及voting的使用

2.1 基础

Sklearn中提供了 VotingRegressor 与 VotingClassifier 两个投票方法。这两种模型的操作方式相同，并采用相同的参数。使用模型需要提供一个模型列表，列表中每个模型采用Tuple的结构表示，第一个元素代表名称，第二个元素代表模型，需要保证每个模型必须拥有唯一的名称。

from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.ensemble import VotingClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

models = [('lr',LogisticRegression()),('svm',SVC())]
ensemble = VotingClassifier(estimators=models)

有时某些模型需要一些预处理操作，我们可以为他们定义Pipeline完成模型预处理工作：

models = [('lr',LogisticRegression()),('svm',make_pipeline(StandardScaler(),SVC()))]
# 此处第一个模型为逻辑回归模型，第二个为填充在管道里，进行标准化处理后的SVC模型
ensemble = VotingClassifier(estimators=models)

模型还提供了voting参数让我们选择软投票或者硬投票：
'soft’为软投票、'hard’为硬投票

models = [('lr',LogisticRegression()),('svm',SVC())]
ensemble = VotingClassifier(estimators=models, voting='soft')

2.2 完整示例

# test classification dataset
from sklearn.datasets import make_classification
# define dataset
def get_dataset():
	'''
	创建一个1000个样本，20个特征的随机数据集
	'''
    X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, random_state=2)
    # summarize the dataset
    return X,y
    
    
# get a voting ensemble of models
def get_voting():
	'''
	使用多个KNN模型作为基模型演示投票法，其中每个模型采用不同的邻居值K参数
	'''
    # define the base models
    models = list()
    models.append(('knn1', KNeighborsClassifier(n_neighbors=1)))
    models.append(('knn3', KNeighborsClassifier(n_neighbors=3)))
    models.append(('knn5', KNeighborsClassifier(n_neighbors=5)))
    models.append(('knn7', KNeighborsClassifier(n_neighbors=7)))
    models.append(('knn9', KNeighborsClassifier(n_neighbors=9)))
    # define the voting ensemble
    ensemble = VotingClassifier(estimators=models, voting='hard')
    return ensemble
    
    
# get a list of models to evaluate
def get_models():
	'''
	创建一个模型列表来评估投票带来的提升，包括KNN模型配置的每个独立版本和硬投票模型。
	'''
    models = dict()
    models['knn1'] = KNeighborsClassifier(n_neighbors=1)
    models['knn3'] = KNeighborsClassifier(n_neighbors=3)
    models['knn5'] = KNeighborsClassifier(n_neighbors=5)
    models['knn7'] = KNeighborsClassifier(n_neighbors=7)
    models['knn9'] = KNeighborsClassifier(n_neighbors=9)
    models['hard_voting'] = get_voting()
    return models
    
    
# evaluate a give model using cross-validation
from sklearn.model_selection import cross_val_score   #Added by ljq
def evaluate_model(model, X, y):
	'''
	接收一个模型实例，并以分层10倍交叉验证三次重复的分数列表的形式返回。
	'''
    cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
    scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1, error_score='raise')
    return scores
    
    
# 最后，我们报告每个算法的平均性能，还可以创建一个箱形图和须状图来比较每个算法的精度分数分布。
from sklearn.neighbors import KNeighborsClassifier
from matplotlib import pyplot

# define dataset
X, y = get_dataset()
# get the models to evaluate
models = get_models()
# evaluate the models and store results
results, names = list(), list()

for name, model in models.items():
    scores = evaluate_model(model, X, y)
    results.append(scores)
    names.append(name)
    print('>%s %.3f (%.3f)' % (name, mean(scores), std(scores)))
# plot model performance for comparison
pyplot.boxplot(results, labels=names, showmeans=True)
pyplot.show()

在这里插入图片描述
由结果得：显然投票的效果略大于任何一个基模型。
由图可得：硬投票方法对交叉验证整体预测结果分布带来的提升。

二、bagging

与投票法不同的是，Bagging不仅仅集成模型最后的预测结果，同时采用一定策略来影响基模型训练，保证基模型可以服从一定的假设。在上一章中我们提到，希望各个模型之间具有较大的差异性，而在实际操作中的模型却往往是同质的，因此一个简单的思路是通过不同的采样增加模型的差异性。
在这里插入图片描述

1、bagging的原理

Bagging的核心在于自助采样（bootstrap）这一概念，即有放回的从数据集中进行采样，也就是说，同样的一个样本可能被多次进行采样。一个自助采样的小例子是我们希望估计全国所有人口年龄的平均值，那么我们可以在全国所有人口中随机抽取不同的集合（这些集合可能存在交集），计算每个集合的平均值，然后将所有平均值的均值作为估计值。

首先我们随机取出一个样本放入采样集合中，再把这个样本放回初始数据集，重复K次采样，最终我们可以获得一个大小为K的样本集合。同样的方法，我们可以采样出T个含K个样本的采样集合，然后基于每个采样集合训练出一个基学习器，再将这些基学习器进行结合，这就是Bagging的基本流程。

对回归问题的预测是通过预测取平均值来进行的。对于分类问题的预测是通过对预测取多数票预测来进行的。Bagging方法之所以有效，是因为每个模型都是在略微不同的训练数据集上拟合完成的，这又使得每个基模型之间存在略微的差异，使每个基模型拥有略微不同的训练能力。

Bagging同样是一种降低方差的技术，因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效果更加明显。在实际的使用中，加入列采样的Bagging技术对高维小样本往往有神奇的效果。

2、bagging的应用

Sklearn为我们提供了 BaggingRegressor 与 BaggingClassifier 两种Bagging方法的API，我们在这里通过一个完整的例子演示Bagging在分类问题上的具体应用。这里两种方法的默认基模型是树模型。
这里的树模型一般指决策树，它是一种树形结构，树的每个非叶子节点表示对样本在一个特征上的判断，节点下方的分支代表对样本的划分。决策树的建立过程是一个对数据不断划分的过程，每次划分中，首先要选择用于划分的特征，之后要确定划分的方案（类别/阈值）。我们希望通过划分，决策树的分支节点所包含的样本“纯度”尽可能地高。节点划分过程中所用的指标主要是信息增益和GINI系数。
信息增益衡量的是划分前后信息不确定性程度的减小。信息不确定程度一般使用信息熵来度量，其计算方式是：
在这里插入图片描述
其中i表示样本的标签，p表示该类样本出现的概率。当我们对样本做出划分之后，计算样本的条件熵：

其中x表示用于划分的特征的取值。信息增益定义为信息熵与条件熵的差值：

信息增益IG越大，说明使用该特征划分数据所获得的信息量变化越大，子节点的样本“纯度”越高。

同样的，我们也可以利用Gini指数来衡量数据的不纯度，计算方法如下：
在这里插入图片描述
当我们对样本做出划分后，计算划分后的Gini指数：

一般来说，我们选择使得划分后Gini指数最小的特征（注意这里是直接根据Gini指数进行判断，而并非其变化量）。

Bagging的一个典型应用是随机森林。顾名思义，“森林”是由许多“树”bagging组成的。在具体实现上，用于每个决策树训练的样本和构建决策树的特征都是通过随机采样得到的，随机森林的预测结果是多个决策树输出的组合（投票）。示意图如下：
在这里插入图片描述

3、案例分析

我们创建一个含有1000个样本20维特征的随机分类数据集：

# test classification dataset
from sklearn.datasets import make_classification
# define dataset
X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, 
                           n_redundant=5, random_state=5)
                           
# summarize the dataset
print(X.shape, y.shape)

在这里插入图片描述

我们将使用重复的分层k-fold交叉验证来评估该模型，一共重复3次，每次有10个fold。我们将评估该模型在所有重复交叉验证中性能的平均值和标准差。

# evaluate bagging algorithm for classification
from numpy import mean
from numpy import std
from sklearn.datasets import make_classification
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.ensemble import BaggingClassifier

# define dataset
X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, random_state=5)
# define the model
model = BaggingClassifier()
# evaluate the model
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)

n_scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1, error_score='raise')
# report performance
print('Accuracy: %.3f (%.3f)' % (mean(n_scores), std(n_scores)))

在这里插入图片描述

三、作业

（1）什么是bootstraps

Bootstrap是一类非参数Monte Carlo方法,其实质是对观测信息进行再抽样，进而对总体的分布特性进行统计推断。因为该方法充分利用了给定的观测信息，不需要模型其他的假设和增加新的观测，并且具有稳健性和效率高的特点。

首先，Bootstrap通过重抽样，可以避免了Cross-Validation造成的样本减少问题，其次，Bootstrap也可以用于创造数据的随机性。比如，我们所熟知的随机森林算法第一步就是从原始训练数据集中，应用bootstrap方法有放回地随机抽取k个新的自助样本集，并由此构建k棵分类回归树。

其核心思想和基本步骤如下：
　　（1）采用重抽样技术从原始样本中抽取一定数量（自己给定）的样本，此过程允许重复抽样。
　　（2）根据抽出的样本计算给定的统计量T。
　　（3）重复上述N次（一般大于1000），得到N个统计量T。
　　（4）计算上述N个统计量T的样本方差，得到统计量的方差。
　　应该说Bootstrap是现代统计学较为流行的一种统计方法，在小样本时效果很好。通过方差的估计可以构造置信区间等，其运用范围得到进一步延伸。
　　在这里插入图片描述

（2）bootstraps与bagging的联系

bootstraps:名字来自成语“pull up by your ownbootstraps”，意思是依靠你自己的资源，它是一种有放回的抽样方法，又称为"自助法"。通过方差的估计可以构造置信区间等，其运用范围得到进一步延伸。
bagging: bootstrapaggregating的缩写。从训练集从进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果,至于为什么叫bootstrap aggregation，因为它抽取训练样本的时候采用的就是bootstrap的方法！

参考：https://www.jianshu.com/p/708dff71df3a

（3）什么是bagging

概念见问题二
Bagging策略过程：

从样本集中用Bootstrap采样选出n个训练样本(放回，因为别的分类器抽训练样本的时候也要用)
在所有属性上，用这n个样本训练分类器（CART or SVM or …）
重复以上两步m次，就可以得到m个分类器（CART or SVM or …）
将数据放在这m个分类器上跑，最后投票机制(多数服从少数)看到底分到哪一类(分类问题)

在这里插入图片描述

（4）随机森林与bagging的联系与区别

联系：当随机森林中的m=p时，随机森林和bagging是一样的。两者的基学习器都为决策树。
区别：简单地说，bagging用了全部特征，随机森林随机选择了部分特征。随机森林是bagging的优化版本，随机选择样本数，随机选取特征，随机选择分类器，建立多颗这样的决策树，然后通过这几课决策树来投票，决定数据属于哪一类(投票机制有一票否决制、少数服从多数、加权多数)

（5）使用偏差与方差理论阐述为什么bagging能提升模型的预测精度

1.bagging中每个弱分类器都是近似的，但是其相关性不高，所以一般不能降低偏差，但可以一定程度上减低方差.单个弱分类器的方差：
在这里插入图片描述
对于独立同分布的变量X1,X2…Xn来说有：

基于上面的条件，对独立和近似的n个弱分类器进行组合时：

所以，bagging能减少方差，提升模型的预测精度。

参考：https://blog.csdn.net/weixin_44467105/article/details/111567032

（6）请尝试使用bagging与基本分类模型或者回归模型做对比，观察bagging是否相对于基础模型的精度有所提高

'''
# LDA与bagging结果比较
'''
from numpy import mean
from sklearn.datasets import make_classification
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.ensemble import BaggingClassifier
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis


# define dataset
X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, random_state=5)

# 线性判别分析:
lda = LinearDiscriminantAnalysis()
lda.fit(X,y)
print('LDA accuracy: %.3f ' % lda.score(X,y))

# Bagging:
# define the model
model = BaggingClassifier()
# evaluate the model
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
n_scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1, error_score='raise')
# report performance
print('Bagging accuracy: %.3f ' % (mean(n_scores)))

在这里插入图片描述
分析结果，Bagging相比较与LDA的准确度有所提升

（7）假如让你来实现bagging，你会使用python+numpy+sklearn的基础模型来实现bagging吗

bagging算法思路：从原始数据中随机抽取n个样本，重复s次，于是就有个s个训练集，每个训练集都可以训练出一个分类器，最终生成s个分类器，预测结果将有这些分类器投票决定（选择分类器投票结果中最多的类别作为最后预测结果）

这里附一份大佬已经实现的博客：https://blog.csdn.net/panda_zjd/article/details/77823596

总结

以上就是今天要讲的内容，本文学习了投票法与bagging，介绍了随机森林算法，也实践了相关模型的基础调用代码，复现了一些案例，做了本人的理解与注释，在这里再次感谢datawhale开源社区的小伙伴们的学习帮助，如更多的学习资料请联系datawhale参加组队学习获取。

相关资料：
【1】教学视频：https://www.bilibili.com/video/BV1Mb4y1o7ck?from=search&seid=6085778383215596866
【2】教案：https://github.com/datawhalechina/ensemble-learning
【3】datawhale开源学习社区：http://datawhale.club/

苏晨星

关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
day5-投票法与Bagging（相关案例代码理解分享）

day5-投票法与Bagging（相关案例代码理解分享）目录day5-投票法与Bagging（相关案例代码理解分享）心得体会前言一、投票法1、投票法的原理2、投票法的案例分析2.1 基础2.2 完整示例二、bagging1、bagging的原理2、bagging的应用3、案例分析三、作业（1）什么是bootstraps（2）bootstraps与bagging的联系（3）什么是bagging（4）随机森林与bagging的联系与区别（5）使用偏差与方差理论阐述为什么bagging能提升模型的预测精度（6）
复制链接

扫一扫

专栏目录