XGBoost

$$XGBoost$$

一 Boosting

---

• Boosting: 将弱学习器组合成强分类器
  – 构造一个性能很高的预测（强学习器）是一件很困难的事情
  – 但构造一个性能一般的预测（弱学习器）并不难
  – 弱学习器：性能比随机猜测好（层数不深的CART是一个好选择）

• 亦可视为一种自适应基模型：

其中
为基函数／弱学习器。

---

二 Gradient Boosting

三 XGBoost

• XGBoost：eXtreme Gradient Boosting
  – 可自定义损失函数：损失函数采用二阶近似
  – 规范化的正则项：叶子节点数目、叶子结点的分数
  – 建树与剪枝：先建完全树后剪枝
• 支持分裂点近似搜索
• 稀疏特征处理
• 缺失值处理
  – 特征重要性与特征选择
  – 并行计算
  – 内存缓存

---