李航《统计学习方法》AdaBoost算法（课后习题）

AdaBoost：https://blog.csdn.net/v_JULY_v/article/details/40718799

提升树：https://www.cnblogs.com/daguankele/p/6557328.html

强可学习的：一个概念如果存在一个多项式的学习算法能够学习它，并且正确了很高，那么，这个概念是强可学习的；

弱可学习的：一个概念如果存在一个多项式的学习算法能够学习它，并且学习的正确率仅比随机猜测略好，那么，这个概念是强可学习的；

强可学习和弱可学习是等价的；

在学习中，如果发现了“弱学习算法“，能否将他提升为“强学习算法”

大多数提升方法是改变训练数据的概率分布（训练数据的权值分布）

1.在每一轮如何改变训练数据的权值和概率分布？

提高被前一轮错误分类样本的权值，降低正确分类样本的权值

2.如何将弱分类器组合成强分类器？

选取多数表决方式，即加大分类误差小的弱分类器权重

AdaBoost就是将一些简单可训练的非线性关系，通过加权和的方式将多个非线性关系相加，其中每次训练的数据集的权重不同，参见1

 

提升树：损失函数为平方损失为回归，指数损失为分类器

针对其他损失函数，提出梯度提升方法，不再使用残差而是损失的负梯度

 

习题8.1 问题总结为：AdaBoost算法学习一个强分类器，且假设弱分类器为决策树桩

则 涉及：AdaBoost学习强分类器方法，参考8.1.3例子；并涉及决策树分类器知识，选用CART算法，可参考5.5  定义5.4 （基尼指数）算法5.6（CART生成算法） 例5.4

 

 

 

 

  以上多为自己计算，参考了书本知识和网上资源，但发现有些不同，有错误的地方希望大家指出，共同学习