目前集成学习有bagging、boosting算法,二者异同能够参考这篇博客 随机森林(RandomForest)是一种bagging的方法; Adaboost、GBDT、XGBoost 都是一种boosting方法。html
本文只介绍AdaBoost的基本原理方便本身复习,并附上两年前写的matlab程序。算法
基本原理
参考:李航的《统计学习方法》 AdaBoost经过加大分类偏差率小的弱分类器的权重,使其在表决中起的做用较大,减少分类偏差率大的弱分类器的权重,使其在表决中起较小的做用。微信
举例表示
matlab程序实现
adaboost_model.m 模型函数:dom
%%---------- 《提高算法-多维》:建模专用 -------------用于二分类
%说明:
% 输入X=[n*m],Y=[n*1](-1/1二类值);
% 输出CUT=[p*4],CUT(:,1)为切分点,CUT(:,2:3)为切分值,CUT(:,4)为权重系数,CUT(:,5)为变量标志位;</