GBM算法

boosting如何工作

Boosting可以将一系列弱学习因子（weak learners）相结合来提升总体模型的预测准确度。在任意时间t，根据t-1时刻得到的结果我们给当前结果赋予一个权重。之前正确预测的结果获得较小权重，错误分类的结果得到较大权重。回归问题的处理方法也是相似的。

GBM参数

总的来说GBM的参数可以被归为三类：

1. 树参数：调节模型中每个决定树的性质
2. Boosting参数：调节模型中boosting的操作
3. 其他模型参数：调节模型总体的各项运作

简单的GBM二分类伪代码：

1. 初始分类目标的参数值
2. 对所有的分类树进行迭代：
    2.1 根据前一轮分类树的结果更新分类目标的权重值（被错误分类的有更高的权重）
    2.2 用训练的子样本建模
    2.3 用所得模型对所有的样本进行预测
    2.4 再次根据分类结果更新权重值
3. 返回最终结果

调参的一般方法

之前说过，我们要调节的参数有两种：树参数和boosting参数。learning rate没有什么特别的调节方法，因为只要我们训练的树足够多learning rate总是小值来得好。

虽然随着决定树的增多GBM并不会明显得过度拟合，高learing rate还是会导致这个问题，但如果我们一味地减小learning rate、增多树,计算就会非常昂贵而且需要运行很长时间。

1. 选择一个相对来说稍微高一点的learning rate。一般默认的值是0.1，不过针对不同的问题，0.05到0.2之间都可以
2. 决定当前learning rate下最优的决定树数量。它的值应该在40-70之间。记得选择一个你的电脑还能快速运行的值，因为之后这些树会用来做很多测试和调参
3. 接着调节树参数来调整learning rate和树的数量。我们可以选择不同的参数来定义一个决定树
4. 降低learning rate，同时会增加相应的决定树数量使得模型更加稳健