AdaBoost,是英文"Adaptive Boosting"(自适应增强)的缩写,是一种机器学习方法,由Yoav Freund和Robert Schapire提出。AdaBoost方法的自适应在于:前一个分类器分错 的样本会被用来训练下一个分类器
AdaBoost方 法对于噪声数据和异常数据很敏感。 但在一些问题中,AdaBoost方法相对于大多数其 它学习算法而言,不会很容易出现过拟合现象。
具体步骤与思想:
- 分配每个观测样本Xi,一个初始权重Wi,一般Wi =1/n,
- 训练一个“弱模型”(决策树、逻辑回归、SVM等)
- 对于每个标签(目标): 如果预测正确,Wi下降,反则上升;
- 训练一个新的“弱模型”,其中权重较大的观测样本分配权权重较高
- 重复步骤3和4,直到达到预期结果
关键在于:
计算Gm(x)的系数 :
更新训练数据集的权值分布: