李航 统计学习方法 林轩田 GBDT算法用于回归 python实现

李航 统计学习方法 林轩田 GBDT用于回归 提升树python实现

本人使用python对李航老师的提升树算法8.2例子进行实现。
水平有限，各位友人轻喷，具体思路需要参考李航老师的书。
同时台大林轩田老师的GDBT课程也给我很大的帮助。

这里选择的误差函数是err=(y-f(x))^2， 所以我们将err的负梯度(y-f(x))作为残差（为什么平方求导后得到的2系数这里被丢掉了？原因可以看林轩田机器学习技法GBDT的详细推导，就能明白）残差是取决于我们定义的误差函数，不同的误差函数，残差是不一样的。至于为什么残差是误差函数err的负梯度，具体也请看林轩田老师的详细证明（辅以统计学习方法）。

非常推荐林轩田老师的课程！！！太棒了！

算法具体流程图如下所示

代码可能还不够简洁，欢迎大家提意见。

这里给出的feature和label其实是已经排好序，而且是单特征的。实际情况还是需要进行对feature排序以方便切分点stump的选择。同时多特征情况还需要比较每种特征的mse以选出最佳stump。决策树stump的选择可以参见我之前决策树的代码（附有流程图）

# coding=utf-8
import numpy as np

label = np.array([5.56, 5.7, 5.91, 6.4, 6.8, 7.05, 8.9, 8.7, 9, 9.05])
feature = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]  ###已经排序好了,单一特征的资料，多特征的资料，选择的时候也像决策树一样选择decision stump

##stump 为feature最佳切割点，mse为每棵树的平方误差，left_value为决策树左值，residual每棵决策树生成后余下的残差
class Tree_model:
    def __init__(self, stump, mse, left_value, right_value, residual):
        self.stump = stump
        self.mse = mse
        self.left_value <