统计学习方法笔记8—提升方法2

8.2 AdaBoost算法的训练误差分析

AdaBoost最基本的性质，通过学习过程不断减少训练误差，即在训练数据集上的分类误差率。

8.2.1训练误差界

其中：

8.2.2二分类问题的训练误差界

通过分离误差界表明：AdaBoost的每次迭代可以减少它在训练数据集上的分类误差率，表明了作为提升方法的有效性。

8.3 AdaBoost算法的解释

解释：加法模型；损失函数为指数函数；学习算法为前向分步算法；二分类学习算法。

8.3.1 前向分步算法

在加法模型的条件下：

给定训练数据及损失函数下，最优化问题转换为经验风险最小化问题：

求解方法：向前分步算法，将加法模型分解进行优化，每一步只学习一个基函数及其系数，逐渐逼近优化目标函数，每一步的优化策略：

8.3.2 向前分步算法与Adaboost

AdaBoost：基本分类器组成加法模型；损失函数为指数函数
一句话概括：前向分步算法就是分治的思想，把同时优化m=1…M的问题看做分别优化m=1…m=M的问题。AdaBoost算法是前向分步算法的特列。