机器学习笔记03 -- GBDT回归、二分类、多分类问题

一、GBDT回归

1 偏差方差，过拟合欠拟合

偏差bias：是用所有可能的训练数据集训练出的所有模型的输出的平均值与真实模型的输出值之间的差异。
方差Variance：是不同的训练数据集训练出的模型输出值之间的差异。

想要结果偏差小，就要让模型复杂，参数多，但这样模型的学习能力会过强，导致方差大，在测试集上表现差，表现为过拟合。
想要结果方差小，就要让模型简单，参数少，但这样会导致模型学习能力弱，导致偏差大，即表现为欠拟合。

对于Bagging，投票输出或取均值输出可以减小方差，所以基模型可以取偏差小的，复杂的。过拟合->正常
对于Boosting，是不断的减小偏差，所以基模型可以取方差小的，简单的。欠拟合->正常

2 回归树建立过程

1. 首先给出最初的弱学习器，它只有一个节点，所以直接用loss对w求导，找出导数为0对应得w，就是这个结点的权重，在loss为平方误差时，其实就是所有标签的平均值。
2. 建立第一颗回归树，由于目标是使得每次的偏差逐步减小，即新加入的决策树的叶子节点权值w与残差（也就是负梯度）