- 博客(2)
- 收藏
- 关注
原创 XGBoost
1. 原理xgboost代表“Extreme Gradient Boosting”,是对gradient boosting的优化,其原理还是基于GradientBoost,他的创新之处在于使用了二阶导数和正则项。xgboost的基学习器为CART。2.优化函数xgboost是加法模型,其结果是多个CAET树的结果的和,表示为:yi^=∑k=1Kfk(xi),fk∈F\hat{y_i}=\s...
2019-04-10 17:22:08 107
原创 Homework——GBDT(梯度提升树)
1.前向分步算法考虑加法模型f(x)=∑m=1Mβmb(x;γm)f(x)=\sum_{m=1}^M \beta_mb(x;\gamma_m)f(x)=∑m=1Mβmb(x;γm),其中,b是基分类器,γ\gammaγ是基分类器的参数, β\betaβ是基分类器的系数。在标签数据以及损失函数L(y,f(x))已知的情况下,为了求解出f(x),需要最小化损失函数,minβm,γmL(y,...
2019-04-07 15:55:28 420
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人