Adaboost算法

AdaBoost，是英文"Adaptive Boosting"（自适应增强）的缩写，是一种机器学习方法，由Yoav Freund和Robert Schapire提出。AdaBoost方法的自适应在于：前一个分类器分错 的样本会被用来训练下一个分类器

AdaBoost方 法对于噪声数据和异常数据很敏感。  但在一些问题中，AdaBoost方法相对于大多数其 它学习算法而言，不会很容易出现过拟合现象。

 

具体步骤与思想：

• 分配每个观测样本Xi，一个初始权重Wi，一般Wi =1/n,
• 训练一个“弱模型”（决策树、逻辑回归、SVM等）
• 对于每个标签（目标）：  如果预测正确，Wi下降，反则上升；
• 训练一个新的“弱模型”，其中权重较大的观测样本分配权权重较高
• 重复步骤3和4，直到达到预期结果

关键在于：

计算Gm(x)的系数 ：

 

更新训练数据集的权值分布：