机器学习——07集成方法（随机森林和AdaBoost）

已于 2022-04-27 15:28:21 修改
阅读量1.1k 收藏 13
点赞数
分类专栏： 机器学习 文章标签： 机器学习
于 2021-12-16 20:48:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45823221/article/details/121983705
版权

目录

1. Bagging

1.1 Bagging模型

1.2 Bagging代码

2. 随机森林(Random Forest )

2.1 随机森林模型

2.2 随机森林代码

3. AdaBoost

3.1 AdaBoost模型

3.2 AdaBoost代码

4. Stacking

4.1 Stacking代码

5. Votting

5.1 投票规则代码

更好用集成学习思想，不能用算法表示

整体表现较差的学习器，在一些样本上的表现有可能会超过“最好”的学习器。

当做重要决定时，大家可能都会考虑吸取多个专家而不只是一个人的意见。集成学习也是如此。
集成学习就是组合多个学习器，最后可以得到一个更好的学习器。

集成学习算法∶

  1. 个体学习器之间不存在强依赖关系，装袋(bagging )
  2. 随机森林(Random Forest )
  3. 个体学习器之间存在强依赖关系，提升( boosting )
  4. Stacking

1. Bagging

1.1 Bagging模型

直觉︰数据量越大，学习器性能越好。
bagging也叫做bootstrap aggregating，是在原始数据集选择S次后得到S个新数据集的一种技术。是一种有放回抽样。

eg:

原始训练数据集
{0,1,2,3,4,5,6,7,8,9}
Bootstrap采样
{7，2,6,7，5,4,8,8,1,0}——未采样3,9
{1，3,8,0，3,5,8,0，1,9}——未采样2，4，6,7                                                                                {2，9,4,2,7，9，3,0，1,0}———未采样3，5,6,8

 对于每一个数据集都可以采用不同的模型进行训练。

1.2 Bagging代码

数据集采用鸢尾花数据集的前两列特征。为了更好的看出区别，如果全都选的话，准确率很高

# 导入算法包以及数据集
from sklearn import neighbors
from sklearn import datasets
from sklearn.ensemble import BaggingClassifier
from sklearn import tree
from sklearn.model_selection import train_test_split
import numpy as np
import matplotlib.pyplot as plt
import warnings
# action参数可以设置为ignore，一位一次也不喜爱你是，once表示为只显示一次
warnings.filterwarnings(action='ignore')

iris = datasets.load_iris()
# 只选取前两列，前两个特征
x_data = iris.data[:,:2]
y_data = iris.target

x_train,x_test,y_train,y_test = train_test_split(x_data, y_data)

knn = neighbors.KNeighborsClassifier()
knn.fit(x_train, y_train)

def plot(model):
    # 获取数据值所在的范围
    x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max() + 1
    y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max() + 1

    # 生成网格矩阵
    xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                         np.arange(y_min, y_max, 0.02))

    z = model.predict(np.c_[xx.ravel(), yy.ravel()])# ravel与flatten类似，多维数据转一维。flatten不会改变原始数据，ravel会改变原始数据
    z = z.reshape(xx.shape)
    # 等高线图
    cs = plt.contourf(xx, yy, z)

# 画图
plot(knn)
# 样本散点图
plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()
# 准确率
print(knn.score(x_test, y_test))   #63%

# 决策树
dtree = tree.DecisionTreeClassifier()
dtree.fit(x_train, y_train)

# 画图
plot(dtree)
# 样本散点图
plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()
# 准确率
print(dtree.score(x_test, y_test))  #65.7%


# bagging_knn训练100个knn的分类器
bagging_knn = BaggingClassifier(knn, n_estimators=100)
# 输入数据建立模型
bagging_knn.fit(x_train, y_train)
plot(bagging_knn)
# 样本散点图
plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()
print(bagging_knn.score(x_test, y_test))   #78.9%

# bagging_tree
bagging_tree = BaggingClassifier(dtree, n_estimators=100)
# 输入数据建立模型
bagging_tree.fit(x_train, y_train)
plot(bagging_tree)
# 样本散点图
plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()
print(bagging_tree.score(x_test, y_test))  #71%

注意：

knn63%——78%

tree65%——71%

用了集成学习后准确率提高，但也可能降低。一般在较复杂的情况下使用效果更好。

2. 随机森林(Random Forest )

2.1 随机森林模型

RF=决策树+Bagging+随机属性选择

RF算法流程：

1.样本的随机∶从样本集中用bagging(有放回的随机抽样)的方式，随机选择n个样本。
2.特征的随机∶从所有属性d中随机选择k个属性(k<d) ,然后从k个属性中选择最佳分割属性作为节点建立CART决策树。
3.重复以上两个步骤m次，建立m棵CART决策树。
4.这m棵CART决策树形成随机森林，通过投票表决结果，决定数据属于哪一类。
 

效果：一般RF比Tree结果要好！

2.2 随机森林代码

from sklearn import tree
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
import numpy as np
import matplotlib.pyplot as plt
import warnings
# action参数可以设置为ignore，一位一次也不喜爱你是，once表示为只显示一次
warnings.filterwarnings(action='ignore')


# 载入数据
data = np.genfromtxt("LR-testSet2.txt", delimiter=",")
x_data = data[:,:-1]
y_data = data[:,-1]

plt.scatter(x_data[:,0],x_data[:,1],c=y_data)
plt.show()

x_train,x_test,y_train,y_test = train_test_split(x_data, y_data, test_size = 0.5)

def plot(model):
    # 获取数据值所在的范围
    x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max() + 1
    y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max() + 1

    # 生成网格矩阵
    xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                         np.arange(y_min, y_max, 0.02))

    z = model.predict(np.c_[xx.ravel(), yy.ravel()])# ravel与flatten类似，多维数据转一维。flatten不会改变原始数据，ravel会改变原始数据
    z = z.reshape(xx.shape)
    # 等高线图
    cs = plt.contourf(xx, yy, z)
    # 样本散点图
    plt.scatter(x_test[:, 0], x_test[:, 1], c=y_test)
    plt.show()

# 决策树
dtree = tree.DecisionTreeClassifier()
dtree.fit(x_train, y_train)
plot(dtree)
print(dtree.score(x_test, y_test))

# 随机森林，
# 构建50棵决策树、
RF = RandomForestClassifier(n_estimators=50)
RF.fit(x_train, y_train)
plot(RF)
print(RF.score(x_test, y_test))

注意：

tree76%——RF83%

用了随机森林后比决策树准确率提高，但也可能降低。一般在较复杂的情况下使用效果更好。

3. AdaBoost

3.1 AdaBoost模型

AdaBoost——"Adaptive Boosting"(自适应增强)

它的自适应在于：前一个基本分类器被错误分类的样本的权值会增大，而正确分类的样本的权值会减小，并再次用来训练下一个基本分类器。同时，在每一轮迭代中，加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数才确定最终的强分类器。

直觉：将学习器的重点放在“容易”出错的样本上，可以提升学习器的性能。

AdaBoost算法流程：

  1. 首先，是初始化训练数据的权值分布D1。假设有N个训练样本数据，则每一个训练样本最开始时，都被赋予相同的权值：w1=1/N。
  2. 然后，训练弱分类器h。具体训练过程中是∶如果某个训练样本点，被弱分类器h准确地分类，那么在构造下一个训练集中，它对应的权值要减小；相反，如果某个训练样本点被错误分类，那么它的权值就应该增大。权值更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去。
  3. 最后，将各个训练得到的弱分类器组合成一个强分类器。各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起着较大的决定作用，而降低分类误差率大的弱分类器的权重，使其在最终的分类函数中起着较小的决定作用。
    换而言之，误差率低的弱分类器在最终分类器中占的权重较大，否则较小。
     

3.2 AdaBoost代码

import numpy as np
import matplotlib.pyplot as plt
from sklearn import tree
from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_gaussian_quantiles
from sklearn.metrics import classification_report

# 生成2维正态分布，生成的数据按分位数分为两类，500个样本,2个样本特征
x1, y1 = make_gaussian_quantiles(n_samples=500, n_features=2,n_classes=2)
# 生成2维正态分布，生成的数据按分位数分为两类，400个样本,2个样本特征均值都为3
x2, y2 = make_gaussian_quantiles(mean=(3, 3), n_samples=500, n_features=2, n_classes=2)
# 将两组数据合成一组数据
x_data = np.concatenate((x1, x2))
y_data = np.concatenate((y1, - y2 + 1))

plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()





# 决策树模型
model = tree.DecisionTreeClassifier(max_depth=3)

# 输入数据建立模型
model.fit(x_data, y_data)

# 获取数据值所在的范围
x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max() + 1
y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max() + 1

# 生成网格矩阵
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                     np.arange(y_min, y_max, 0.02))

z = model.predict(np.c_[xx.ravel(), yy.ravel()])# ravel与flatten类似，多维数据转一维。flatten不会改变原始数据，ravel会改变原始数据
z = z.reshape(xx.shape)
# 等高线图
cs = plt.contourf(xx, yy, z)
# 样本散点图
plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()

# 模型准确率
print(model.score(x_data,y_data))    #76.4%






# AdaBoost模型
model = AdaBoostClassifier(DecisionTreeClassifier(max_depth=3),n_estimators=10)
# 训练模型
model.fit(x_data, y_data)

# 获取数据值所在的范围
x_min, x_max = x_data[:, 0].min() - 1, x_data[:, 0].max() + 1
y_min, y_max = x_data[:, 1].min() - 1, x_data[:, 1].max() + 1

# 生成网格矩阵
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                     np.arange(y_min, y_max, 0.02))

# 获取预测值
z = model.predict(np.c_[xx.ravel(), yy.ravel()])
z = z.reshape(xx.shape)
# 等高线图
cs = plt.contourf(xx, yy, z)
# 样本散点图
plt.scatter(x_data[:, 0], x_data[:, 1], c=y_data)
plt.show()

# 模型准确率
print(model.score(x_data,y_data))   #96.7%

注意：

tree76%——Adaboost96%

Adaboost效果很好。

4. Stacking

使用多个不同的分类器对训练集进行预测，把预测结果作为一个次级分类器的输入。次级分类器的输出是整个模型的预测结果。

4.1 Stacking代码

from sklearn import datasets
from sklearn import model_selection
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.tree import DecisionTreeClassifier
from mlxtend.classifier import StackingClassifier    # pip install mlxtend
import numpy as np
import warnings
# action参数可以设置为ignore，一位一次也不喜爱你是，once表示为只显示一次
warnings.filterwarnings(action='ignore')


# 载入数据集
iris = datasets.load_iris()
# 只要第1,2列的特征
x_data, y_data = iris.data[:, 1:3], iris.target

# 定义三个不同的分类器
clf1 = KNeighborsClassifier(n_neighbors=1)
clf2 = DecisionTreeClassifier()
clf3 = LogisticRegression()

# 定义一个次级分类器
lr = LogisticRegression()
sclf = StackingClassifier(classifiers=[clf1, clf2, clf3],
                          meta_classifier=lr)

for clf, label in zip([clf1, clf2, clf3, sclf],
                      ['KNN', 'Decision Tree', 'LogisticRegression', 'StackingClassifier']):
    scores = model_selection.cross_val_score(clf, x_data, y_data, cv=3, scoring='accuracy')
    print("Accuracy: %0.2f [%s]" % (scores.mean(), label))

注意：

使用Stacking结果可能会好也可能不好

5. Votting

代码和stacking差不多

5.1 投票规则代码

from sklearn import datasets
from sklearn import model_selection
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import VotingClassifier
import numpy as np
import warnings
# action参数可以设置为ignore，一位一次也不喜爱你是，once表示为只显示一次
warnings.filterwarnings(action='ignore')



# 载入数据集
iris = datasets.load_iris()
# 只要第1,2列的特征
x_data, y_data = iris.data[:, 1:3], iris.target

# 定义三个不同的分类器
clf1 = KNeighborsClassifier(n_neighbors=1)
clf2 = DecisionTreeClassifier()
clf3 = LogisticRegression()

sclf = VotingClassifier([('knn', clf1), ('dtree', clf2), ('lr', clf3)])

for clf, label in zip([clf1, clf2, clf3, sclf],
                      ['KNN', 'Decision Tree', 'LogisticRegression', 'VotingClassifier']):
    scores = model_selection.cross_val_score(clf, x_data, y_data, cv=3, scoring='accuracy')
    print("Accuracy: %0.2f [%s]" % (scores.mean(), label))

 关于为什么投票分类器效果更好的解释——https://blog.csdn.net/tsjjjjj/article/details/104667223

平行世界里的我
关注
  • 0
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习笔记，案例数据等
08-22
python机器学习笔记（包含各类算法以及实战案例）
集成学习（三）—— Adaboost的理念和推导
01-20
adaboost也是集成学习的一种，也是很多模型一起做决策，最终投票决定，下面会介绍一下adaboost的理念、流程以及简要推导。 理念 1.错题应该被多做 bagging中的抽样是随机的，但更boosting的策略是使那些被分错类的...
集成学习、boosting、bagging、Adaboost、GBDT、随机森林
weixin_45775970的博客
08-01 626
集成学习、boosting、bagging、Adaboost、GBDT、随机森林
随机森林分类和adaboost分类方法的异同之处
石贤芝
12-30 5929
随机森林和adaboost算法都可以用来分类，它们都是优秀的基于决策树的组合算法。相对于经典线性判别分析，其分类效果一般要好很多。下说明这两种分类方法的相同和不同之处：1，相同：二者都是bootsrap自助法选取样本。 2，相同：二者都是要训练很多棵决策树。 3，不同：adaboost后面树的训练，其在变量抽样选取的时候，对于上一棵树分错的样本，抽中的概率会加大。 4，不同：随机森林在训练每一
随机森林（Bagging）和Adaboost---集成学习
heikegrr的博客
05-14 921
经过 bagging 得到的结果方差（variance）更小。
机器学习——集成学习算法（Adaboost、随机森林）
qq_52669357的博客
06-11 5649
Bagging + 决策树 = 随机森林 AdaBoost + 决策树 = boosting
常见面试算法：决策树、随机森林和AdaBoost
datayx的文章
08-24 1696
向AI转型的程序员都关注了这个号????????????大数据挖掘DT机器学习 公众号：datayx决策树 概述决策树（Decision Tree）算法是一种基本的分类与回归方法，是最...
AdaBoost算法（附代码且代码超完整）
热门推荐
Gfqwy2021
03-12 1万+
首先，阅读我写的这篇文章，需要先学习Adaboost算法相关原理 个人推荐刘建平Pinard整理的下面两篇文章（因为代码编写根据这两篇文章来的） 集成学习之Adaboost算法原理小结 scikit-learn Adaboost类库使用小结 理论上任何学习器都可以用于Adaboost。但一般来说，使用最广泛的Adaboost弱学习器是决策树和神经网络。对于决策树，Adaboost分类用了...
机器学习算法——集成方法（Ensemble）之Stacking
01-27
②这些弱分类器是如何组合为一个强分类器学习过机器学习相关基础的童鞋应该知道，集成学习有两大类——以Adaboost为代表的Boosting和以RandomForest为代表的Bagging。它们在集成学习中属于同源集
Matlab实现基于RF-Adaboost随机森林结合Adaboost集成学习时间序列预测（完整源码和数据）
最新发布
06-11
基于RF-Adaboost（随机森林结合Adaboost集成学习）的时间序列预测方法结合了随机森林在处理高维数据和复杂关系方面的优势，以及Adaboost在自适应地提升弱分类器性能方面的特点，从而提高了对时间序列数据的预测准确...
example_集成学习_bagging_adaboost_随机森林_
09-30
一个集成学习的例子，内含AdaBoost，bagging，随机森林方法
【机器学习实践】用Python实现集成学习中的AdaBoost和随机森林（RF）
weixin_38909710的博客
11-20 695
        这周学习了周志华《机器学习》第8章”集成学习“的知识，对AdaBoost和Bagging两种算法有了一定的了解，而随机森林又是Bagging的一个拓展变体。为了巩固本章知识和加强自身的Python代码能力，因此用Python简单实现了这两种算法。        首先简述两种算法的实现步骤，以便日后的复习使用。         AdaBoost是Boosting族的典型代表，基本...
闲聊——集成学习理论（Adaboost，随机森林理论与个人实战中的体会）
sunhaoran98的博客
04-21 1255
（本文通过简单的例子来引出算法本质，同时附上证明过程，目的是让感觉直接看证明推导很难的小伙伴们也能理解集成算法是怎样实现的） 集成学习通过构建并结合多个学习器来完成学习任务，可获得比单一学习器更好的泛化性能。目前的集成学习方法大致可分为两类，第一类个体学习器之间具有很强的依赖关系，需要串行生成的序列化方法；第二类是个体学习器之间不存在强依赖关系，可同时生成的并行化方法。这里分别对两类集成方法各举一...
AdaBoost算法
Burgess_Lee的博客
12-18 279
一，引言 　　如果将这些不同的分类器组合起来，就构成了我们今天要介绍的集成方法或者说元算法。集成方法有多种形式：可以使多种算法的集成，也可以是一种算法在不同设置下的集成，还可以将数据集的不同部分分配不同的分类器，再将这些分类器进行集成。 　　adaBoost分类器就是一种元算法分类器，adaBoost分类器利用同一种基分类器（弱分类器），基于分类器的错误率分配不同的权重参数，最后累加加权的预测...
Adaboost和随机森林
shijieyidian的博客
12-01 2015
集成学习作业：使用AdaBoost和RF来处理西瓜数据集3.0 问题1——读入数据： 1、 因为西瓜数据集是.txt格式的，因此使用pandas该如何读取.txt格式的文件呢？ 文件内容如下： 回答： （1）我使用pandas的read_csv()函数， 很方便，一点也不需要之前的open()函数的繁琐。只需要除去前面的序号列就可以使用。 问题二——数据预处理 我的目的是使用AdaBoost或者RF来处理这个数据集，虽然只是一个作业，但是我还是希望先采用第三方包来解决这个问题。 1、离散数据处理： 我本
第五讲：决策树+随机森林+AdaBoost（上）
leo_fighting
07-09 2450
主要内容 3 逻辑斯蒂回归（下） 3.5 逻辑斯谛回归和凸优化问题 3.5.1 什么是凸优化问题 3.5.2 为什么说逻辑斯谛回归是一个凸优化问题 3.6 多项逻辑斯谛回归 3.6.1 模型 3.6.2 策略 3.6.3 算法 3.6.4 正则化 3.7 对比感知机、SVM和逻辑斯谛回归 3.7.1 损失函数 3.7.2 分离超平面 3.7.3 算法性能 4 集成学习（...
【机器学习实战】第7章 集成方法 ensemble method
片刻 - ApacheCN
08-25 1293
第7章 集成方法 ensemble method 集成方法: ensemble method（元算法: meta algorithm） 概述 概念：是对其他算法进行组合的一种形式。 通俗来说： 当做重要决定时，大家可能都会考虑吸取多个专家而不只是一个人的意见。 机器学习处理问题时又何尝不是如此？ 这就是集成方法背后的思想。 集成方法： 投票选举(bag
随机森林(Random Forest)面试高频题
学渣集散地
11-18 4386
随机森林算法的原理 随机森林算法是Bagging集成框架下的一种算法。它同时对训练数据和特征采用随机抽样的方式来构建更加多样化的基模型。随机森林具体的算法步骤如下： 随机抽样训练决策树。假如有N个样本，则有放回的随机选择N个样本（每次随机选择一个样本，然后返回继续选择，也就是说可能有重复的）。这选择好了的N个样本用来训练一个决策树，作为决策树根节点处的样本。 随机选择属性做节点分裂属性。当每个样本有M个属性时，在决策树的每个节点需要分裂时，随机从这M个属性中选取出m个属性，满足条件m<<M。然
【机器学习面试题】——随机森林+AdaBoost
Heitao5200的博客
12-29 3659
文章目录1. 简单介绍随机森林2. 随机森林的随机性体现在哪里？3. 随机森林为什么不容易过拟合？4. 为什么不用全样本训练？5. 为什么要随机特征？6. RF与 GBDT 的区别？7. RF为什么比Bagging效率高？8. 你已经建了一个有10000棵树的随机森林模型。在得到0.00的训练误差后，你非常高兴。但是，验证错误是34.23。到底是怎么回事？你还没有训练好你的模型吗？9. 如何使用随...
随机森林和Adaboost结合的分类算法实例
05-18
随机森林和Adaboost是两种常见的分类算法，它们可以结合使用来提高分类准确率。下面给出一个使用Python实现随机森林和Adaboost结合的分类算法的示例代码： ```python from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier from sklearn.model_selection import cross_val_score from sklearn.datasets import load_iris # 加载数据集 iris = load_iris() # 随机森林分类器 rf_clf = RandomForestClassifier(n_estimators=10, max_depth=None, min_samples_split=2, random_state=0) # Adaboost分类器 ada_clf = AdaBoostClassifier(n_estimators=50, learning_rate=1) # 结合使用随机森林和Adaboost clf = AdaBoostClassifier(base_estimator=rf_clf, n_estimators=50, learning_rate=1) # 交叉验证 scores = cross_val_score(clf, iris.data, iris.target, cv=5) # 输出准确率 print("Accuracy: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2)) ``` 这个示例代码中，我们先加载了一个经典的分类数据集——鸢尾花数据集。然后分别使用随机森林和Adaboost构建了两个分类器。接着，我们用Adaboost将随机森林分类器进行了包装，形成了一个新的分类器。最后，使用交叉验证评估了这个新的分类器的准确率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值