xgboost 正则项_【机器学习】XGBoost、LightGBM

1. XGBoost

1.1 优化目标

XGBoost 是由

个基模型组成的前向加法模型

其中

为第

个基模型，

为第

个样本的预测值。

损失函数可由预测值

与真实值

表示

模型的预测精度由模型的偏差和方差共同决定，损失函数代表模型的偏差，模型复杂度代表模型的方差。所以最终的损失函数（即优化目标）由原损失函数

与正则项

组成

以第

步的模型为例，模型对第

个样本

的预测值为

那么第

步的优化目标可以写为

求解优化目标，相当于求解

。

根据

在

处的二阶泰勒展开为

将

视为

，

视为

，可以将优化目标写为

其中，

为

关于

的一阶导，

为