《Python机器学习及实践：从零开始通往Kaggle竞赛之路》第3章 进阶篇 学习笔记（十）3.2.3XGBoost模型总结

目录

3.2.3XGBoost模型

1、XGBoost模型

2、编程实践

---

3.2.3XGBoost模型

1、XGBoost模型

提升（Boosting）分类器隶属于集成学习模型。它的基本思想是把成百上千个分类准确率较低的树模型组合起来，成为一个准确率很高的模型。这个模型的特点在于不断迭代，每次迭代就生成一颗新的树。对于如何在每一步生成合理的树，提出了很多的方法，比如在集成（分类）模型中提到的梯度提升树（Gradient Tree Boosting）。它在生成每一棵树的时候采用梯度下降的思想，以之前生成的所有决策树为基础，向着最小化给定目标函数的方向再进一步。 

在合理的参数设置下，往往要生成一定数量的树才能达到令人满意的准确率。在数据集较大较复杂的时候，模型可能需要几千次迭代运算。但是，XGBoost工具更好地解决这个问题。XGBoot 的全称是eXtreme Gradient Boosting。正如其名，它是Gradient Boosting Machine的一个C++实现，作者是目前在华盛顿大学研究机器学习的陈天奇博士。XGBoost最大的特点在于能够自动利用CPU的多线程进行并行；也在算法上加以改进提高了精度。