集成学习之AdaBoost分析

简介

AdaBoost算法是一种集成学习（ensemble learning）方法。集成学习是机器学习中的一类方法，它对多个机器学习模型进行组合形成一个精度更高的模型，参与组合的模型称为基学习器（weak learner）或弱分类器。在预测时使用这些弱学习器模型联合起来进行预测。训练时需要用训练样本集依次训练出这些弱学习器。AdaBoost算法是boosting算法的典型代表，boosting的结合方法属于并行。

一、 基分类器与强分类器

AdaBoost算法的全称是自适应boosting（Adaptive Boosting），是一种用于二分类问题的算法，它是将弱分类器进行线性组合来构造强分类器。对于每一个的弱分类器不用要求性能特别的出色，依靠它们可以构造出一个非常准确的强分类器。强分类器的计算公式和示意图为：

公式解析：其中x是输入向量，

表示每一个是弱分类器，是每一个弱分类器的权重，T为弱分类器的数量