《统计学习方法》第八章总结

提升方法是一种常见的统计方法，在分类问题中，她通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的能力。

提升方法AdaBoost算法

强可学习：在概率近似正确学习（PAC）的框架中，一个概念（一个类），如果存在一个多项式的学习算法可以能够学习它，并且正确率很高，那么就称这个学习是强可学习的。一个概念，如果存在一个多项式的学习算法可以能够学习它，学习的正确率仅比随机猜测略好，那么称这个学习是弱可学习的。

AdaBoost算法另一个解释：可以认为AdaBoost算法是模型为加法模型，损失函数为指数函数，学习算法为前向分步算法时的二类分类学习算法。

提升树是以分类树或回归树为基本分类器的提升方法。提升方法实际采用加法模型（即基函数的线性组合）与前向分步算法。以决策树为基函数的提升方法称为提升树，对分类问题决策树是二叉分类树，对回归树问题决策树是二叉回归树。

梯度提升算法