算法系列——Rf_Adaboost 算法

最新推荐文章于 2024-06-07 23:56:05 发布
最新推荐文章于 2024-06-07 23:56:05 发布
阅读量631 收藏 1
点赞数
分类专栏： 算法 文章标签： 决策树 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44567900/article/details/110232903
版权

文章目录


参考博客 Adaboost 算法的原理与推导
参考文献：基于ＲF_AdaBoost 模型的血液种属鉴别算法

Adaboost的原理

AdaBoost，是英文"Adaptive Boosting"（自适应增强）的缩写，由Yoav Freund和Robert
Schapire在1995年提出。它的自适应在于：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。

Bagging和Boosting的概念与区别

在集成学习中，主要分为bagging算法和boosting算法。
Bagging的算法：利用不同的训练集产生不同的模型。
Boosting的算法：自动调整样本和分类器的权重以实现提高分类效果的目标。

Bagging的算法过程如下：

  • 1.从原始样本集中使用Bootstraping方法随机抽取n个训练样本，共进行k轮抽取，得到k个训练集。（k个训练集之间相互独立，元素可以有重复）
  • 2.对于k个训练集，我们训练k个模型（这k个模型可以根据具体问题而定，比如决策树，knn等）
  • 3.对于分类问题：由投票表决产生分类结果；对于回归问题：由k个模型预测结果的均值作为最后预测结果。（所有模型的重要性相同）

Boosting的算法过程如下：

  • 1.对于训练集中的每个样本建立权值wi，表示对每个样本的关注度。当某个样本被误分类的概率很高时，需要加大对该样本的权值。
  • 2.进行迭代的过程中，每一步迭代都是一个弱分类器。我们需要用某种策略将其组合，作为最终模型。（例如AdaBoost给每个弱分类器一个权值，将其线性组合最为最终分类器。误差越小的弱分类器，权值越大）

Random Forest随机森林

Bagging + 决策树 = 随机森林
随机性的引入，使得随机森林有很好的抗噪声能力

  1. 从原始训练集中使用Bootstraping方法随机有放回采样选出m个样本，共进行n_tree次采样，生成n_tree个训练集
  2. 对于n_tree个训练集，我们分别训练n_tree个决策树模型
  3. 对于单个决策树模型，假设训练样本特征的个数为n，那么每次分裂时根据信息增益/信息增益比/基尼指数选择最好的特征进行分裂
  4. 每棵树都一直这样分裂下去，直到该节点的所有训练样例都属于同一类。在决策树的分裂过程中不需要剪枝
  5. 将生成的多棵决策树组成随机森林。对于分类问题，按多棵树分类器投票决定最终分类结果；对于回归问题，由多棵树预测值的均值决定最终预测结果

Rf_Adaboost 算法原理

ＲF 算法由Leo Breiman 等于2001 年提出，具有稳定性强、分类准确度高的优点，其训练集在Bootstrap 重采样的过程下随机产生，且内部决策树选取属性时也是随机的． Freund 等对Boosting算法进行改良，使算法能够自适应调整样本权重和弱分类器级联权重，形成性能优良的AdaBoost算法．该算法采用加权样本训练下一个弱分类器，同时根据每次迭代中的预测误差调整弱分类器权重，从而将弱分类器按照权重整合成符合实际需求的强分类器。

细推之前，我觉得就是基于决策树的基础上，综合了Bagging和Boosting的两种想法的优点，并且有种神经网络雏形的感觉。

模型对样本进行分类预测的详细流程

  1. 初始化样本权重u_1,i，m为训练集包含的样本数目
    在这里插入图片描述

  2. 弱分类器训练:根据ＲF 投票决策策略，第t 个分类器的分类结果Gt( x) 为
    在这里插入图片描述在这里插入图片描述

  3. 预测误差计算:根据ＲF 弱分类器的预测误差率对样本权重进行调整，使上一轮误分类样本在下一轮迭代中所占比重更大.因此计算第t个RF弱分类器对于序列G_t(x)的预测误差率e_t
    在这里插入图片描述

  4. 弱分类器组合:

  5. 样本权重调整:

  6. 强分类函数集成:

勿宁
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
多元回归预测 | Matlab基于随机森林RF的Adaboost回归预测，RF-Adaboost回归预测，多输入单输出模型
前程算法屋的博客
08-03 261
多元回归预测 | Matlab基于随机森林RF的Adaboost回归预测，RF-Adaboost回归预测，多输入单输出模型
随机森林（RandomForest）
小白_努力
10-15 1066
随机森林就是通过集成学习的思想将多棵树集成的一种算法，它的基本单元是决策树，而它的本质属于机器学习的一大分支——集成学习（Ensemble Learning）方法。 首先介绍一下什么是集成学习，在集成学习中，主要分为bagging算法和boosting算法。我们先看看这两种方法的特点和区别。 Bagging（套袋法） bagging的算法过程如下： 1.从原始样本集中使用Bootstrapi...
Adaboost集成学习 | Matlab实现基于RF-Adaboost随机森林结合Adaboost集成学习时间序列预测
最新发布
Matlab_dashi的博客
06-07 1020
股价预测一直是金融领域的研究热点，其对投资者和金融机构具有重要的意义。近年来，随着机器学习技术的快速发展，基于机器学习的股价预测方法得到了广泛应用。其中，随机森林 (Random Forest, RF) 算法凭借其出色的预测能力和稳定性，在金融领域备受关注。然而，单一的 RF 算法在处理复杂的时间序列数据时，可能会遇到预测精度不足、模型泛化能力差等问题。
基于随机森林RF的Adaboost回归预测，RF-Adaboost回归预测，多输入单输出模型。评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。
机器学习-深度学习
07-31 118
基于随机森林RF的Adaboost回归预测，RF-Adaboost回归预测，多输入单输出模型。 评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量极高，方便学习和替换数据。
【机器学习实践】用Python实现集成学习中的AdaBoost和随机森林（RF）
weixin_38909710的博客
11-20 707
        这周学习了周志华《机器学习》第8章”集成学习“的知识，对AdaBoost和Bagging两种算法有了一定的了解，而随机森林又是Bagging的一个拓展变体。为了巩固本章知识和加强自身的Python代码能力，因此用Python简单实现了这两种算法。        首先简述两种算法的实现步骤，以便日后的复习使用。         AdaBoost是Boosting族的典型代表，基本...
【RF--Adaboost时序预测】基于随机森林算法的时间序列预测附matlab代码
m0_60703264的博客
03-04 1837
时序预测是机器学习中一个重要的任务，其目的是根据历史数据预测未来值。传统的时序预测方法，如ARIMA和ARMA，通常需要对数据进行平稳性检验和模型参数估计，这可能比较复杂。近年来，随着机器学习算法的发展，基于随机森林算法的时间序列预测方法得到了广泛的关注。
7.1 Bagging,RF&Adaboost.zip_Bagging代码_RF--ADABOOST_adaboost_bagg
07-15
**Bagging、Random Forest（RF）与AdaBoost：集成学习的力量** 在机器学习领域，集成学习是一种强大的技术，它通过组合多个弱预测器来构建一个更强大、更稳定的强预测器。Bagging、Random Forest和AdaBoost是集成...
example_集成学习_bagging_adaboost_随机森林_
09-30
首先，AdaBoost（Adaptive Boosting）是一种迭代算法，每次迭代会更重视前一轮被错误分类的数据。它通过调整弱学习器的权重来实现这一目标。AdaBoost的核心在于它能够自适应地调整样本权重，使得后续的学习器更加...
【RF时序预测】基于随机森林算法结合集成学习RF-Adaboost实现股价预测附matlab代码.zip
05-17
1.版本：matlab2019a，不会运行可私信 2.领域：【图像重建】 3.内容：基于ADMM的tv正则化最小化稀疏实现图像重建附matlab代码.zip 4.适合人群：本科，硕士等教研学习使用
Matlab实现RF-Adaboost随机森林结合Adaboost多变量回归预测（完整源码和数据)
01-09
RF-AdaBoost算法的基本思想是将RF作为基模型，利用AdaBoost算法对其进行增强。具体而言，我们可以训练多个RF模型，每个模型使用不同的数据集和特征表示，然后将它们的预测结果组合起来，形成一个更准确和鲁棒的模型...
基于RF-Adaboost随机森林Adaboost多变量时间序列预测(Matlab完整源码和数据)
02-07
基于RF-Adaboost随机森林Adaboost多变量时间序列预测(Matlab完整源码和数据) 基于RF-Adaboost随机森林Adaboost多变量时间序列预测(Matlab完整源码和数据) 基于RF-Adaboost随机森林Adaboost多变量时间序列预测(Matlab...
RF-GBDT-ADABOOST
01-31
用于分类预测用于分类预测用于分类预测用于分类预测用于分类预测用于分类预测用于分类预测用于分类预测用于分类预测用于分类预测用于分类预测
机器学习（5）之集成学习（RF\AdaBoost\GBDT）
u013788252的博客
01-03 353
文章目录1 集成学习的思想1.1 Bagging简介1.2 Boosting简介1.3 Stacking简介2 随机森林(Random Forest)2.1 算法流程2.2 Extra Tree2.3 TRTE2.4 Isolation Forest(IForest)2.5 总结3 AdaBoost3.1 算法原理3.2 算法的构建过程3.3 总结4 GBDT4.1 算法原理4.2 GBDT回归算...
采用随机森林计算参数权重（包含完整代码与完整数据格式）
热门推荐
u011537121的博客
08-09 1万+
前段时间在做一些气象预测方面的工作，牵扯到大量的复杂的数据分析与预处理。 该篇文章简述我在用随机森林进行数据分析，计算各类天气参数对于目标参数的贡献度，也就是参数权重大小。 首先引入各个计算工具包 from sklearn.ensemble import RandomForestClassifier import pandas as pd import numpy as np import...
python里随机抽取样本_随机森林算法
weixin_33068783的博客
01-02 792
1、随机森林的原理（1）整体概括随机森林算法是最常用也是最强大的监督学习算法之一，它兼顾了解决回归问题和分类问题的能力。随机森林是通过集成学习的思想，将多棵决策树进行集成的算法。对于分类问题，其输出的类别是由个别树输出的众数所决定的。在回归问题中，把每一棵决策树的输出进行平均得到最终的回归结果。tips：决策树的数量越大，随机森林算法的鲁棒性越强，精确度越高。（2）生成原理样本随机：假设训练数据集...
Python随机森林求各指标权重
weixin_46123378的博客
08-03 1万+
本文参考自https://blog.csdn.net/zjuPeco/article/details/77371645 随机森林主要用于分类、回归。一般就是输入数据得出一个最终结果，本文主要用来求各指标的权重。 运用python中的sklearn库（该库已经封装好了随机森林算法，我们只需要调用即可） 首先 输入数据的格式：（代码小白摸爬滚打后的经验总结） 纯数字，纯数字，不需要表头 像这样的上代码 先导入数据，csv或者excel都可（若格式为excel，则将pd.read_csv(…)改为pd.read_
【ML基础】随机森林全解 （从bagging到variance）
机器学习算法与Python学习
10-09 479
（给机器学习算法与Python学习加星标，提升AI技能）转自 | 机器学习炼丹术文章目录：1 随机森林2 bagging3 神秘的63.2%4 随机森林 vs bagging5 投票策略...
【RF时序预测】基于随机森林算法RF--Adaboost的时间序列预测附matlab代码
matlab_dingdang的博客
03-04 1855
时序预测是机器学习中一个重要的任务，其目的是根据历史数据预测未来值。传统的时序预测方法，如ARIMA和ARMA，通常需要对数据进行平稳性检验和模型参数估计，这可能比较复杂。近年来，随着机器学习算法的发展，基于随机森林算法的时间序列预测方法得到了广泛的关注。
【LSSVM回归预测】基于秃鹰搜索算法优化最小二乘支持向量机BES-LSSVM实现光伏数据回归预测附Matlab代码
qq_59747472的博客
02-28 356
光伏发电预测是可再生能源利用的关键技术之一。本文提出了一种基于秃鹰搜索算法（Vulture Search Algorithm, VSA）优化最小二乘支持向量机（Least Squares Support Vector Machine, LSSVM）的回归预测模型（BES-LSSVM），用于光伏数据回归预测。该模型通过VSA优化LSSVM的超参数，提高了模型的预测精度。引言随着可再生能源的快速发展，光伏发电已成为重要的能源来源。准确预测光伏发电量对于电网调度和能源管理至关重要。
随机森林和Adaboost结合的分类算法实例
05-18
随机森林和Adaboost是两种常见的分类算法，它们可以结合使用来提高分类准确率。下面给出一个使用Python实现随机森林和Adaboost结合的分类算法的示例代码： ```python from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier from sklearn.model_selection import cross_val_score from sklearn.datasets import load_iris # 加载数据集 iris = load_iris() # 随机森林分类器 rf_clf = RandomForestClassifier(n_estimators=10, max_depth=None, min_samples_split=2, random_state=0) # Adaboost分类器 ada_clf = AdaBoostClassifier(n_estimators=50, learning_rate=1) # 结合使用随机森林和Adaboost clf = AdaBoostClassifier(base_estimator=rf_clf, n_estimators=50, learning_rate=1) # 交叉验证 scores = cross_val_score(clf, iris.data, iris.target, cv=5) # 输出准确率 print("Accuracy: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2)) ``` 这个示例代码中，我们先加载了一个经典的分类数据集——鸢尾花数据集。然后分别使用随机森林和Adaboost构建了两个分类器。接着，我们用Adaboost将随机森林分类器进行了包装，形成了一个新的分类器。最后，使用交叉验证评估了这个新的分类器的准确率。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值