机器学习sklearn-xgboost1

目录

概述

梯度提升树 

方差与泛化误差

结论

重要参数subsample

重要参数eta

---

概述

XGBoost 全称是 e X treme G radient B oosting ，可译为极限梯度提升算法。 它由陈天奇所设计，致力于让提升树突破 自身的计算极限，以实现运算快速，性能优秀的工程目标。 和传统的梯度提升算法相比， XGBoost 进行了许多改进， 它能够比其他使用梯度提升的集成算法更加快速，并且已经被认为是在分类和回归上都拥有超高性能的先进评估器。

梯度提升树 

XGBoost 的基础是梯度提升算法，因此我们必须先从了解梯度提升算法开始。梯度提升（ Gradient boosting ）是构建预测模型的最强大技术之一，它是集成算法中提升法（Boosting ）的代表算法。

之前学习的随机森林是集成算法中袋装法的代表。

集成算法通过在数据上构建多个弱 评估器，汇总所有弱评估器的建模结果，以获取比单个模型更好的回归或分类表现。 弱评估器被定义为是表现至少比随机猜测更好的模型，即预测准确率不低于50% 的任意模型。

集成不同弱评估器的方法有很多种。有像我们曾经在随机森林的课中介绍的，一次性建立多个平行独立