集成学习
手书阿水
这个作者很懒,什么都没留下…
展开
-
集成学习:XGBoost算法目标函数推导
XGBoost全名叫(eXtreme Gradient Boosting)极端梯度提升,GBDT(gradient boosting decision tree)的改进XGBoost的核心算法思想:1、不断地添加树,不断地进行特征分裂来生长一棵树,每次添加一个树,其实是学习一个新函数f(x),去拟合上次预测的残差。2、当我们训练完成得到k棵树,我们要预测一个样本的分数,其实就是根据这个样本的...原创 2020-02-12 11:02:15 · 594 阅读 · 0 评论 -
集成学习:通过数学推导AdaBoost的训练误差可以无限接近于0,以及其树的权重可以推导出来
集成学习,将多个独立分类器(此处称为基学习器)组合在一起,共同完成任务。如bagging(减小方差)、boosting(偏差)或stacking(改进预测)其中Boosting,主要算法有AdaBoost/GBDT/Xgboost/LightGBM关于Boosting的两个核心问题: 1)在每一轮如何改变训练数据的权值或概率分布? 通过提高那些在前一轮被弱分类器分错样例的权值,减小前一...原创 2020-02-11 20:42:48 · 1073 阅读 · 1 评论