机器学习之GBDT算法

第1关：机器学习之GBDT算法

任务描述
本关任务：编写一个程序，实现GBDT算法。

相关知识
为了完成本关任务，你需要掌握：1.GBDT算法的原理，2.GBDT的算法实现。

GBDT算法的基本概念
GBDT 的全称是 Gradient Boosting Decision Tree，梯度提升树，GBDT是集成学习Boosting的一种算法，是通过迭代来逐步拟合最优结果的 一种方法，它的目的是迭代得到一个CART回归树模型得到最小损失，它具有以下的迭代思路：

在GBDT的迭代中，假设我们前一轮迭代得到的强学习器是ft−1(x), 损失函数是L(y,ft−1(x)), 我们本轮迭代的目标是找到一个CART回归树模型的弱学习器ht(x)，让本轮的损失函数L(y,ft(x))=L(y,ft−1(x)+ht(x))最小。也就是说，本轮迭代找到决策树，要让样本的损失尽量变得更小。

GBDT的思想可以用一个通俗的例子进行解释，假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。但是在这个过程中存在着一个问题：损失的拟合应该怎样去度量，损失函数各种各样，怎么找到一种通用的拟合方法呢，即对应于例子中的6岁，3岁应该如何得到呢？

import numpy as np
import pandas as