数据挖掘算法----Boosting

简介

Boosting（提升法）是一类可以将弱分类器提升为强分类器的算法，其工作机制为：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多的关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复，直到基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。

算法的三要素：

函数模型：Boosting函数模型是叠加型的

目标函数：选定某种损失函数作为优化目标

优化算法：贪婪地逐步优化

Boosting是一种框架算法，其含有一系列算法，例如AdaBoost,GradientBoosting，LogitBoost等算法；Boosting系列算法的主要区别在于选取的函数不同；可以提升任意给定算法的准确度；训练的过程为阶梯状，弱分类器按照次序进行训练，弱分类器的训练集按照某种策略每次都进行一定的转化，最后以一定的方式将弱分类器组合成一个强分类器。