《机器学习技法》第11课笔记 AdaBoost tree

课程来源：林轩田《机器学习技法》

课程地址： https://www.bilibili.com/video/av12469267/?p=1

1. 每棵树只有一层高时

2. 怎么给样本加权？如果再树切分中加权，很麻烦。

一种方式是给每个样本一个权重，然后按权重进行抽样，这样权重高的样本就更容易被注意到。

3. 权重的设置

4. 投票权重和SVM中的点到超平面的距离很像，差别是没有常数项和正则化

5. 推导，会发现我们希望点的权重越来越小，而adaboost能满足这样的条件

6. 既然要让全部的总和越来越小，也就是让最后一个的值越来越小

7. 转换成可以使用梯度下降的方式

8. 找到梯度方向

9. 每一步下降尽可能多

10. 可以将AdaBoost Tree理解成在近似的方向上（因为用了泰勒展开）贪心走了最长的一步

11. 将梯度的想法延伸，对所有error都可以做梯度下降，这样就延伸到了GB，可以做回归、soft classification等

12. gd应用在回归问题

13. gbdt

14. 四种模型的差异。其中adaboost通过改变权重来生成g，然后根据g表现的不同来投票；gbdt是根据现在模型与标签的残差，对残差进行学习，然后生成g，最后根据g表现的不同来投票