集成算法 xgboost

1、集成算法xgboost -- 梯度提升树

该算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数，最后只需要将每棵树对应的分数加起来就是该样本的预测值。

在原有的模型基础上，不断加入新的函数，使得损失函数越来越小

惩罚项：

惩罚项计算方式如下：

 

2、目标函数：

转换目标函数的形式：

求解W，带回原目标函数：

 

参考唐宇迪机器学习课程：https://www.bilibili.com/video/av45796417/?p=78