简介
AdaBoost算法是一种集成学习(ensemble learning)方法。集成学习是机器学习中的一类方法,它对多个机器学习模型进行组合形成一个精度更高的模型,参与组合的模型称为基学习器(weak learner)或弱分类器。在预测时使用这些弱学习器模型联合起来进行预测。训练时需要用训练样本集依次训练出这些弱学习器。AdaBoost算法是boosting算法的典型代表,boosting的结合方法属于并行。
一、 基分类器与强分类器
AdaBoost算法的全称是自适应boosting(Adaptive Boosting),是一种用于二分类问题的算法,它是将弱分类器进行线性组合来构造强分类器。对于每一个的弱分类器不用要求性能特别的出色,依靠它们可以构造出一个非常准确的强分类器。强分类器的计算公式和示意图为:
公式解析:其中x是输入向量,
表示每一个是弱分类器,是每一个弱分类器的权重,T为弱分类器的数量