复习机器学习算法：Boosting

 

Boosting的思想是集成学习，把许多个弱分类器结合起来，构成一个强分类器。

 

首先输入原始的训练样本，得到一个弱分类器，可以知道它的正确率和错误率。计算该弱分类器的权重，如下：

然后提高错误分类样本的权重，让后面的分类器focus它们，调整样本的权重：

如果原本分类正确：

如果样本分类错误：

 

把新的样本输入到后面学习，重复这个过程，得到许多个弱分类器，及其分类器的权重。

 

注意，Boosting算法中有两个权重，一个是分类器的权重，一个是样本的权重。

 

 

Boosting算法的优点：性能好，可以防止过拟合，可以综合多个分类器的优势。

缺点：对离群点比较敏感。