机器学习笔记-bagging

最新推荐文章于 2024-07-12 19:06:42 发布

小刘同学要努力呀

最新推荐文章于 2024-07-12 19:06:42 发布

阅读量318

点赞数

分类专栏：机器学习文章标签： python sklearn

本文链接：https://blog.csdn.net/m0_56615545/article/details/128318593

版权

机器学习专栏收录该内容

15 篇文章 0 订阅

订阅专栏

装袋算法-bagging简介

bagging也叫做bootstrap aggregating,是在原始数据集选择S次后得到S个新数据集的一种技术，是一种有放回的抽样。具体实现如下图所示：

在这里插入图片描述

bagging具体实例

在这里插入图片描述

从原始数据集中有放回的抽取10个数据集，共抽取3次。

bagging

在这里插入图片描述

其中M1…Mk代表k个不同的训练模型，例如神经网络、随机森林等。最后进行组合投票得到最后的结果。

bagging分类边界如下图所示：

在这里插入图片描述

bagging具体实现

数据集为鸢尾花数据集

导入包：

from sklearn import neighbors
from sklearn import datasets
from sklearn.ensemble import BaggingClassifier
from sklearn import tree
from sklearn.model_selection import train_test_split
import numpy as np
import matplotlib.pyplot as plt

导入数据：

iris=datasets.load_iris()
x_data=iris.data[:,:2]#只要第0和1列，只要两个特征
y_data=iris.target
x_train,x_test,y_train,y_test=train_test_split(x_data,y_data)

建立KNN模型

#建立KNN的模型
knn=neighbors.KNeighborsClassifier()
knn.fit(x_train,y_train)

定义画图函数:

def plot(model):
    #定义画图的函数
    #获取数据值所在的范围
    x_min,x_max=x_data[:,0].min()-1,x_data[:,0].max()+1
    y_min,y_max=x_data[:,1].min()-1,x_data[:,1].max()+1
    #生成网络矩阵
    xx,yy=np.meshgrid(np.arange(x_min,x_max,0.02),
                     np.arange(y_min,y_max,0.02))
    z=model.predict(np.c_[xx.ravel(),yy.ravel()])
    z=z.reshape(xx.shape)
    #等高线图
    cs=plt.contourf(xx,yy,z)

输入数据建立模型并画图

#输入数据建立模型
knn.fit(x_train,y_train)
plot(knn)
#样本散点图
plt.scatter(x_data[:,0],x_data[:,1],c=y_data)
plt.show()
#准确率
knn.score(x_test,y_test)

KNN结果如下图所示：

在这里插入图片描述

准确率为0.68

建立决策树模型

#建立决策树模型
dtree=tree.DecisionTreeClassifier()
dtree.fit(x_train,y_train)

输入数据并画图

#输入数据建立模型
dtree.fit(x_train,y_train)
plot(dtree)
#样本散点图
plt.scatter(x_data[:,0],x_data[:,1],c=y_data)
plt.show()
#准确率
dtree.score(x_test,y_test)

决策树的结果如下所示：
在这里插入图片描述

精确率为0.71

建立bagging_KNN模型并画图

bagging_knn=BaggingClassifier(knn,n_estimators=100)#n_estimators:有放回抽样做100次
#输入数据建立模型
bagging_knn.fit(x_train,y_train)
plot(bagging_knn)
#样本散点图
plt.scatter(x_data[:,0],x_data[:,1],c=y_data)
plt.show()
#准确率
bagging_knn.score(x_test,y_test)

bagging_KNN结果如下所示：
在这里插入图片描述

准确率为0.73

建立bagging_决策树模型

bagging_tree=BaggingClassifier(dtree,n_estimators=100)#n_estimators:有放回抽样做100次
#输入数据建立模型
bagging_tree.fit(x_train,y_train)
plot(bagging_tree)
#样本散点图
plt.scatter(x_data[:,0],x_data[:,1],c=y_data)
plt.show()
#准确率
bagging_tree.score(x_test,y_test)