一、介绍
AdaBoost是一种迭代型的算法,其核心思想是针对同一个训练集训练不同的学习算法,即弱学习算法,然后将这些弱学习算法集合起来,构造一个更强的最终学习算法
adaboost希望在下一轮训练时被上一个子分类器正确分类的样本权重和与被错误分类的样本权重和相等
二、算法
1.图解
2.算法流程
3.算法解释
3.1.权重α
3.2权重更新D
三、优缺点
优点: 非常容易训练,实现起来比较容易 泛化错误率低(预测性能好),不易过拟合 不需要调节很多参数,最多修改一下基础模型的数量 适用范围广:二分类问题,多分类问题,回归问题
缺点: 对于离群值比较敏感