《统计学习方法》学习笔记八

第八章 提升方法

• 提升（boosting）方法是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。

• 提升方法AdaBoost算法

• • 提升方法的基本思路

• • • 提升方法基于这样一种思想：对于一个复杂的任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好。

• • • 对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则（弱分类器）要求比求精确的分类规则（强分类器）容易得多。提升方法就是从若学习算法出发，反复学习，得到一系列弱分类器（又称为基本分类器），然后组合这些弱分类器，构成一个强大的分类器。大多数的提升方法都是改变训练数据的概率分布（训练数据的权值分布），针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。

• • AdaBoost算法

• • AdaBoost的例子

• AdaBoost算法的训练误差分析

• AdaBoost算法的解释：AdaBoost算法还有另一个解释，即可以认为AdaBoost算法是模型为加法模型、损失函数为指数函数、学习算法为向前分布算法时的二类分类学习算法。

• 提升树

• • 提升树模型

• • 提升树算法

• • 梯度提升