GBDT无公式实例解析（1）——回归树

GBDT无公式实例解析（1）——回归树

GBDT中的DT使用的是回归树，因此在介绍GBDT之前必须要先了解一下什么是回归树。

下面都以下面这个简单的例子来介绍，通过自变量 x 来预测 y 的值。

数据

x	1	2	3	4	5	6	7	8	9	10
y	4.50	4.75	4.91	5.34	5.80	7.05	7.90	8.23	8.70	9.00

根据 x 的取值将数据划分为两组。

例如划分点为 1.5，x 值小于 1.5 的为一组，大于 1.5 的为另一组。那么数据将被划分为两组，一组是 {1}, 另一组为 {2,3,4,…,10}

将每一组数据 y 的平均值作为这一组的预测值

那么第一组的预测值为 4.50

第二组预测值为

1/9 *(4.75+4.91+5.34+5.80+7.05+7.90+8.23+8.70+9.00)

x	1	2	3	4	5	6	7	8	9	10
y	4.50	4.75