机器学习算法之Boosting

Boosting算法

Boosting也就提升算法，通过训练多个弱分类器，最后加权组合成一个分类精度比较高的强学习者。正所谓“三个臭皮匠，顶个诸葛亮”。其中弱分类器一般是指一个分类器的分类结果仅仅比随机分类好一点点。

算法过程

1、对于训练集中的每个样本建立权值wi，表示对每个样本的关注度。当某个样本被误分类的概率很高时，需要加大对该样本的权值。

2、进行迭代的过程中，每一步迭代都是一个弱分类器。我们需要用某种策略将其组合，作为最终模型。（例如AdaBoost给每个弱分类器一个权值，将其线性组合最为最终分类器。误差越小的弱分类器，权值越大）

目前，各种不同的boosting算法有很多，但最具代表性的当属AdaBoost算法，而且各种不同的Boosting算法都是在AdaBoost算法的基础上发展起来的。因此下面我们以AdaBoost算法为例对Boosting算法进行简单介绍。

Adaboost算法

AdaBoost算法的主要思想是给定一个训练集（$x_1,$