XGBoost模型理解（python实现）与GBDT/RF模型对比

目录

一、XGBoost模型理解

1、损失函数定义

2、正则项

3、树结构

4、XGBoost算法总结：

二、XGBoost、GBDT、RF三种集成模型比较

三、XGBoost模型Python实现

---

一、XGBoost模型理解

监督学习的目标函数定义：

1、损失函数定义

       损失函数通常有残差平方和（回归问题），log损失函数（分类问题），以下以残差平方和为例，log损失函数同理。

      树集成模型的最优化问题，通常是固定已训练的模型，每次增添一个树：

    第t次迭代树的目标函数为：

    考虑目标函数的二阶泰勒展开：

        采用泰勒二阶展开式分解目标函数，意味着当损失函数为log函数等非残差平方和时，采用损失函数在当前模型的二阶泰勒展开为下颗树的目标函数。

 

2、正则项

    定义正则项为：