XGBoost及评价指标简介

本文简要介绍了XGBoost的原理，以及模型的常用评价指标。

一、 XGBoost简介

概述：
XGBoost(Extreme Gradient Boosting)(极致的梯度提升)是GB(Gradient Boosting)(梯度提升)的拓展和优化
两者都是集成学习方法，通过迭代添加新的弱学习器（决策树）来提高预测精度
XGB比GB在正则化、并行计算和分裂寻找等方面进行了改进和提升，从而获得了更高的性能和准确性

1. 先介绍GB的原理

1. 基本思想
   Gradient Boosting(GB)(梯度提升)是一种集成学习方法，通过组合多个弱求解器（通常是决策树）来提高模型的预测性能。基本思想是依次训练一系列弱学习器，每个学习器都试图修正前一个学习器的误差。

2. 迭代过程
   在GB中，每个新的弱学习器都基于前一个模型的预测结果与实际值之间的残差进行训练。这个残差代表了模型当前未能捕捉到的信息，是下一步学习的目标。通过不断迭代，模型能够逐步减小误差，提高预测精度。

3. 模型更新
   每个新的弱学习器在训练完后，会被加入到现有模型中。模型的更新会引入一个学习率参数，来控制新学习器新学习器对整体模型的贡献程度。

2. XGB与GB的区别

1. 优化与正则化
   XGB引入了L1和L2正则化项，防止模型过拟合并增强泛化能力

2. 并行计算
   XGB可以在多个线程上同时构建树，