Python3机器学习实践：集成学习之AdaBoost

一、AdaBoost初识

这个方法主要涉及到2种权重：
样本权重：每个样本都对应一个权重。在构建第一个弱模型之前，所有训练样本的权重是一样的。第一个模型完成后，要加大那些被这个模型错误分类(分类问题)、或者预测值与真实值的差值较大(回归问题)的样本的权重。依次迭代，最终构建多个弱模型。每个弱模型所对应的训练数据集样本是一样的，只是样本权重是不一样的。
弱模型权重：得到的每个弱模型都对应一个权重。精度越高(分类问题的错分率越低，回归问题的错误率越低)的模型，其权重也就越大，在最终集成结果时，其话语权也就越大。

二、AdaBoost流程图

三、AdaBoost步骤

分类问题

回归和分类的最大不同在于：回归问题错误率的计算方式。因为回归有很多的变种，下面以Adaboost R2算法为例给出回归问题的步骤：

回归问题