XGBoost

XGBoost 基本概念

• XGBoost：extreme Gradient Boosting

XGBoost 的特别之处

• 正则化 以"正则化提升著称"
  • 标准GBM的实现没有显式的正则化步骤。
  • 正则化对减少过拟合有帮助。
• 并行处理，相比GBM有了速度的飞跃
  • 借助openMP，自动利用单机cpu的多核进行并行计算。
  • 支持GPU加速。
  • 支持分布式。
• 高度的灵活性：允许用户自定义优化目标和评价标准
  • 只需损失函数的一阶导数和二阶导数。
• 剪枝
  • 当新增分裂带来负增益，GBM会停止分裂
  • XGBoost一直分裂到指定的最大深度（max_depth），然后回过头来剪枝。
• 内置交叉验证
  • XGBoost允许在每一轮boosting迭代中使用交叉验证->可以方便的获得最优的boosting迭代次数。
  • GBM使用网格搜索，只能检测有限值。
• 在线学习：XGBoost和GBM都支持

总结

最近有些忙，等明天再来补齐。。。。。